AI › 생성형 AI › LLM › 활용

프롬프트 엔지니어링Prompt Engineering

LLM 의 가중치를 바꾸지 않고 입력 문맥(지시 · 예시 · 자료 · 출력 형식)을 설계하고, 고정한 평가 세트로 결과를 재며 고쳐 나가는 반복 과정이다.

1요약

  1. 프롬프트 엔지니어링은 LLM 에 넣는 입력 문맥(시스템 지시 · 예시 · 자료 · 출력 형식)을 설계하고 고쳐 나가는 반복 과정으로(Schulhoff 2024 1.2.2절), 고객 문의 분류 · 문서 요약 · 정보 추출처럼 API 로 부르는 LLM 기능 대부분이 이 위에서 돈다.
  2. 같은 모델도 문구 하나에 결과가 갈린다 — 「Let's think step by step」 한 줄로 MultiArith 정확도가 17.7%에서 78.7%로 올랐고(Kojima 2022 초록), 뜻이 같은 형식 변형만으로 한 과제의 정확도가 3.6%에서 80.4%까지 벌어졌다(Sclar 2023 그림 1).
  3. 「프롬프트를 고쳤더니 나아졌다」는 개발 세트와 처음 보는 확인용 세트에서 함께 올랐는가로 가른다 — 개발 세트에서만 오르면 그 세트에 맞춘 것이고, 형식 변형마다 크게 흔들리면 우연이다.

2등장 배경

2020년 GPT-3 는 과제 설명과 예시 몇 개를 입력에 넣는 것만으로 번역 · 질의응답을 해냈다(Brown 2020). 그러나 같은 모델도 예시의 형식 · 고르기 · 순서만 바꾸면 정확도가 우연 수준에서 최고 수준 가까이까지 오갔고, 원인은 프롬프트 끝 쪽 답이나 자주 나온 답으로 쏠리는 편향이었다(Zhao 2021 1 · 4절). 입력 글이 곧 프로그램인데, 그 글을 어떻게 고치고 무엇으로 재는지 기준이 없었다.

「prompt engineering」이라는 이름은 2021년 Radford 등과 Reynolds · McDonell 의 글에서 쓰이기 시작했다(Schulhoff 2024 1.3절). 2022년 1월 Wei 등은 풀이가 적힌 예시 8개로 PaLM 540B 의 GSM8K 정확도를 17.9%에서 56.9%로 올렸고(Wei 2022 표 1), 5월 Kojima 등은 예시 없이 한 줄로 비슷한 효과를 냈다. 2022년 11월 APE, 2023년 9월 OPRO 는 LLM 이 지시문 후보를 만들고 평가 점수로 고르게 해 사람이 쓴 문구를 넘어섰다(Zhou 2022 · Yang 2023 표 1).

지시 튜닝을 거친 대화형 모델이 나온 뒤에도 이 일이 남는 이유는 민감도다. 형식 민감도는 모델을 키우거나 예시를 늘리거나 지시 튜닝을 해도 사라지지 않았고, 한 모델에 좋은 형식이 다른 모델에도 좋은지는 약하게만 맞았다(Sclar 2023 초록). 2024년 Schulhoff 등은 흩어진 용어 33개와 기법 58개를 한 분류로 정리했다(Schulhoff 2024 초록).

3쉽게 이해하기 — 처음 온 파견 직원에게 남기는 작업 지시서

사장이 하루만 일하러 온 파견 직원에게 손님 문의를 분류하는 일을 맡긴다. 직원은 회사 사정을 전혀 모르고, 책상 위 지시서 한 장만 읽고 일한다. 사장은 지시서에 맡은 역할과 규칙을 쓰고, 처리할 서류는 테이프로 봉한 봉투에 따로 넣고, 견본 두 장과 빈 양식지를 붙인다. 직원이 채운 양식은 검수원이 정답이 적힌 검수표로 채점하고, 사장은 틀린 곳을 보고 지시서를 한 군데씩 고쳐 다음 날 다시 맡긴다.

사장 개발자 1 작업 지시서 한 장 명찰 · 할 일 · 규칙 시스템 지시 봉한 자료 봉투 자료 · 구분자 견본 두 장 예시(퓨샷) 빈 양식지 출력 형식 손님 질문 쪽지 사용자 입력 2 파견 직원 LLM 지시서만 읽음 3 채운 양식 JSON 출력 4 검수표 채점 평가 세트 5 점수를 보고 지시서를 한 군데씩 고쳐 다시 맡김 굵은 선 = 고쳐 다시 맡기는 반복 · 배지 = 실제 기술 이름 직원은 어제 지시서를 기억하지 못해 매번 한 장을 새로 받는다

그림 1 · 직원은 지시서 한 장만 보고 일하므로, 사장은 역할 · 자료 · 견본 · 양식을 그 한 장에 담고 검수표 점수를 보며 지시서를 고친다.

지시서 쓰기역할 · 할 일 · 규칙
자료 봉하기지시와 섞이지 않게
견본 붙이기이렇게 채우면 된다
양식 주기빈칸 이름 · 허용 값
검수하기같은 검수표로 채점
고쳐 다시한 군데씩 바꿔 재채점
비유 — 답 칸 답안지와 풀이 칸 답안지 상자 3개에 4개씩, 5개를 팔면 남는 수는? 답 칸만 있는 답안지 답: 12 중간 계산 없이 바로 씀 풀이 칸이 있는 답안지 풀이: 3 × 4 = 12 풀이: 12 − 5 = 7 답: 7 앞에 쓴 풀이를 보고 답함 실제 — 한 줄로 이어지는 토큰 열 질문 토큰 Let's think step by step. 3 × 4 = 12 12 − 5 = 7 Therefore, the answer is 7 앞 토큰 전부가 조건 MultiArith 정확도 17.7% → 78.7% 같은 모델 · 예시 없음 · 유도 문구만 더함(Kojima 2022) 색 = 질문(사용자) · 유도 문구(규칙) · 풀이(문맥) · 답(출력) 문제와 수는 설명용 · 정확도는 논문 값

그림 2 · 답 칸만 있으면 직원이 암산으로 틀리고 풀이 칸이 있으면 맞힌다 — 실제 LLM 도 답 앞에 쓴 풀이 토큰이 다음 토큰을 정하는 조건이 된다.

비유 속 역할실제 이름실제로 하는 일
파견 직원LLM문맥 창 안의 글만 보고 다음 토큰을 만든다 · 가중치는 그대로
명찰 · 할 일 · 규칙시스템 지시역할 · 과제 · 우선순위 규칙을 정한다
봉한 자료 봉투구분자 · 문맥 자료처리할 문서를 태그 · 기호로 감싸 지시와 나눈다
견본예시(퓨샷)입력 → 출력 쌍으로 기대하는 답 꼴을 보인다
빈 양식지출력 형식필드 이름 · 허용 값을 정해 코드가 읽게 한다
풀이 칸사고 사슬(CoT)답 앞에 중간 단계를 먼저 쓰게 한다
검수표평가 세트고정한 입력 · 정답으로 판마다 같은 잣대로 잰다
지시서 고쳐 다시반복 개선한 번에 한 요소만 바꾸고 다시 잰다

⚠ 비유가 맞지 않는 곳: 사람 직원은 뜻이 같은 지시면 같은 일을 하지만, LLM 은 구분자 · 공백 · 대소문자만 바뀌어도 정확도가 크게 흔들릴 수 있다(Sclar 2023 4절). 또 봉투 테이프와 달리 구분자는 자료 속 문장이 지시처럼 읽히는 것을 확실히 막지 못한다 — 그 방어는 프롬프트 인젝션이 다룬다.

4구조 — 한 토큰 열로 합쳐지는 다섯 요소

프롬프트의 요소는 개발자가 고정하는 부분(시스템 지시 · 출력 형식 · 예시)과 요청마다 채우는 부분(자료 · 사용자 입력)으로 나뉘고, 모델에 들어갈 때는 한 토큰 열이 된다. 요소 이름은 Schulhoff 2024 1.2.1절의 구성 요소(지시 · 예시 · 출력 서식 · 역할 · 추가 정보)를 따랐다.

프롬프트 = 한 토큰 열 시스템 지시 역할 · 과제 · 우선순위 규칙 출력 형식 스키마 · 허용 값 · 필드 순서 예시 입력 → 출력 2쌍 자료 <mail> … </mail> 로 감싼 본문 사용자 입력 이번 요청의 질문 · 지시 개발자 고정 요청 마다 바뀌는 것 = 왼쪽 열뿐 LLM 가중치 고정 출력 JSON 문자열 스키마 검증기 모델 밖 코드 통과 → 앱 실패 = 오류를 붙여 다시 요청 지시 · 모델 형식 · 출력 예시(레이블 쌍) 문맥 자료 사용자 실패 경로

그림 3 · 다섯 요소가 한 토큰 열로 합쳐져 가중치가 고정된 LLM 에 들어가고, 출력은 모델 밖 검증기를 통과해야 앱으로 간다 — 실패하면 오류를 붙여 다시 요청한다.

요소위치역할값 · 근거
시스템 지시맨 앞 · 고정역할 · 과제 · 우선순위 규칙지시(Directive) · 역할(Role)(Schulhoff 2024 1.2.1절)
출력 형식지시 안 · 고정필드 이름 · 허용 값 · 필드 순서출력 서식 · 말투 지시는 그 한 종류(Schulhoff 2024 1.2.1절)
예시지시 뒤 · 고정입력 → 출력 쌍으로 답 꼴을 보임고르기 · 순서가 정확도를 바꿈(Zhao 2021 3절) → 문맥 내 학습(퓨샷)
자료 · 구분자요청마다처리할 문서 · 검색 결과구분자 · 공백 · 대소문자가 형식 변형의 축(Sclar 2023 3.1절)
사용자 입력맨 뒤 · 요청마다이번 질문 · 지시지시와 같은 열의 글이라 신뢰 경계가 없음 → 프롬프트 인젝션
추론 유도지시 끝 · 답 앞중간 단계를 먼저 쓰게 함추론 추출 → 답 추출 2단계 호출(Kojima 2022 3절)
출력 검증모델 밖파싱 · 허용 값 검사 · 재요청결정적 코드 · 프롬프트 문장과 별개

🔑 출력 형식 지시는 모델이 형식을 «지키게» 하고, 검증기는 앱이 받은 값을 «믿어도 되게» 한다 — 지시만으로는 형식 통과율 100%를 보장하지 못한다.

5동작 — 고객 문의 분류 프롬프트 네 판

고객 문의 메일을 배송 · 환불 · 고장 · 기타 넷으로 나누고 JSON 으로 내는 기능을 만드는 사례다. 메일 수 · 정확도 · 토큰 수는 설명용 가정 값이고, 추론 유도와 형식 변형 방식은 각 논문의 방법을 따랐다.

  1. 평가 세트 고정 — 지난달 메일 200건에 사람이 정답 분류를 달고, 지표를 정확도(분류 일치)와 형식 통과율(JSON 파싱 · 허용 값 검사 통과)로 정한다. 이번 달 메일 100건은 확인용으로 따로 둔다.
  2. v1 — 「다음 메일을 분류해 줘」 한 줄로 돌리니 정확도 142/200 = 71.0%, 형식 통과율 176/200 = 88.0% 였다. 형식 실패 24건은 「환불 문의로 보입니다」처럼 문장으로 답한 경우다.
  3. v2 — 시스템 지시에 역할과 네 분류의 정의를 넣고, 본문을 <mail> 태그로 감싸고, 출력을 {"label": 네 값 중 하나, "reason": 한 문장} 으로 정한다. 형식 통과율 200/200, 정확도 161/200 = 80.5% 가 된다.
  4. 오류 분석 — 틀린 39건 가운데 24건이 「고장 났으니 환불해 달라」처럼 두 분류가 섞인 메일이었다. 분류 정의가 아니라 우선순위 규칙이 빠진 것이다.
  5. v3 — 「환불 · 교환을 요구하면 고장 내용이 있어도 환불」 규칙과 섞인 메일 예시 2개를 더한다. 정확도 178/200 = 89.0% 이고, 입력은 요청당 410 → 640토큰으로 는다.
  6. v4 — 출력 필드 순서를 reason 먼저 · label 마지막으로 바꿔 판단 근거를 먼저 쓰게 한다(답 앞 중간 단계 · Wei 2022 2절). 정확도 182/200 = 91.0%, 출력은 요청당 35 → 120토큰이다.
  7. 형식 변형 — v4 의 뜻은 두고 구분자(태그 ↔ ###) · 필드 이름 대소문자 · 줄바꿈만 바꾼 변형 5개를 같은 200건에 돌리니 177 ~ 183건(88.5 ~ 91.5%)이었다(Sclar 2023 3.1절의 변형 축). 폭이 3%p 로 좁아 v4 원형을 고정한다.
  8. 확인용 세트 — 처음 보는 100건에서 v4 는 87/100 = 87.0% 였다. 개발 세트보다 4%p 낮고 목표 90%에 못 미치므로, 틀린 13건을 분석해 개발 세트에 보태고 다음 판으로 넘긴다. 판 저장 · 배포 · 운영 감시는 LLMOps 가 다룬다.
고객 문의 분류 프롬프트 판별 점수 · 설명용 가정 값 0 25 50 75 100 % 목표 90% 71.0 88 80.5 100 89.0 100 91.0 100 87.0 100 2 3 5 6 8 v1 한 줄 지시 v2 +역할 · 정의 +구분자 · 스키마 v3 +우선순위 규칙 +섞인 예시 2 v4 +근거 먼저 v4 확인용 100건 ← 개발 세트 200건 정확도 형식 통과율 목표선 굵은 테두리 = 같은 v4 를 두 세트에서 잰 값

그림 4 · 판마다 한 요소씩 바꾸며 개발 세트 정확도가 71.0 → 91.0% 로 올랐지만, 처음 보는 확인용 세트에서는 87.0% 로 목표선 아래다 · 설명용 가정 값.

그림 4 의 판별 차이를 믿어도 되는지는 형식 민감도가 정한다. 뜻이 같은 변형끼리의 점수 폭이 판 사이 차이보다 크면, 판을 바꿔 오른 점수는 우연과 가려낼 수 없다.

같은 뜻 · 다른 형식의 정확도 범위 형식만 바꿈 Sclar 2023 그림 1 · 7B 모델 · 예시 1개 3.6 80.4 뜻이 비슷한 지시 셋 Yang 2023 5.2.3절 · GSM8K 49.4 60.5 71.8 C B A 사례 v4 형식 변형 5개 설명용 가정 값 · 200건 88.5 ~ 91.5 0 25 50 75 100 % A = Let's think step by step. · B = Let's solve the problem together. C = Let's work together to solve this problem step by step. · 넓은 막대 · 흩어진 점 = 판단 불가 · 좁은 막대 = 고정해도 됨

그림 5 · 뜻이 같은 프롬프트도 형식 · 문구만 바꾸면 수십 %p 벌어진다 — 판 사이 차이가 변형 폭보다 커야 개선으로 볼 수 있고, 사례 v4 의 폭은 3%p 다.

🔑 뜻이 같은 프롬프트도 점수는 같지 않다 — 한 형식의 점수가 아니라 형식 변형 여럿의 범위를 재고, 판 사이 차이가 그 폭보다 클 때만 개선으로 본다.

⚠ 사고 사슬의 기준 값은 논문마다 조금 다르다. 같은 PaLM 540B · GSM8K 표준 사고 사슬이 Wei 2022 표 1 에서는 56.9%, Wang 2022 표 2 에서는 56.5% 로 실렸다 — 실행 설정이 다르면 기준선도 다시 잰다.

6비교 — 프롬프트 기법 다섯

기준지시 다듬기(제로샷)예시 넣기(퓨샷)사고 사슬(CoT)자기 일관성자동 최적화(APE · OPRO)
바꾸는 것지시 문장 · 규칙 · 출력 형식입력 → 출력 쌍답 앞의 중간 단계풀이를 여러 번 뽑아 다수결LLM 이 지시문 후보를 만들고 점수로 고름
더 드는 비용없음예시 토큰만큼 입력풀이 토큰만큼 출력호출 수 배(원 논문 40회 · Wang 2022 3.2절)최적화 단계마다 평가 세트 채점
보고된 효과기준선→ 문맥 내 학습(퓨샷)GSM8K 17.9 → 56.9%(PaLM 540B · Wei 2022 표 1)GSM8K 56.5 → 74.4%(PaLM 540B · Wang 2022 표 2)GSM8K 71.8 → 80.2%(PaLM 2-L · Yang 2023 표 1)
잘 맞는 과제분류 · 추출 · 형식 맞추기답 꼴을 말보다 보이기 쉬울 때여러 단계 계산 · 논리답이 하나로 모이는 문제평가 세트 · 채점 기준이 있는 과제
한계문구 · 형식 민감도예시 순서 · 다수 분류 쏠림약 100B 아래 모델은 이득 없음(Wei 2022 3.2절)자유 서술 답은 다수결이 어려움고른 문구가 평가 세트에만 맞을 수 있음

분석형식 · 분류 오류는 지시 다듬기와 출력 스키마부터 고치고, 다단계 계산이 틀릴 때만 사고 사슬을, 정확도가 비용보다 중요할 때 자기 일관성을 더한다. 근거는 표의 «더 드는 비용» · «한계» 행 — 사고 사슬은 출력 토큰을, 자기 일관성은 호출 수를 늘리고, 작은 모델에서는 사고 사슬 이득이 없다(Wei 2022 3.2절).

평가 세트와 채점 기준이 이미 있으면 자동 최적화로 문구 후보를 넓게 훑을 수 있지만, 고른 문구는 확인용 세트에서 다시 잰다. 추론 과정을 학습 단계에서 길게 쓰도록 만든 모델은 추론 모델이, 샘플링 온도처럼 출력 토큰을 고르는 설정은 디코딩이 다룬다.

7실무 진단 — 프롬프트 결과가 흔들리는 단계 가르기

분석형식 실패 → 판 사이 차이와 변형 폭 → 확인용 세트 순서로 본다. 형식이 깨지면 정확도를 셀 수 없고, 변형 폭이 판 차이보다 크면 어느 판이 나은지 판단할 수 없기 때문이다(Sclar 2023 1절).

#증상의심 원인단계확인 자료판정 기준(근거)
1가끔 JSON 이 깨지거나 허용 밖 값이 나옴형식 지시만 있고 검증 없음출력파싱 · 허용 값 검사 실패 로그실패가 0 이 아니면 검증기 · 재요청을 둔다(그림 3)
2구분자 · 줄바꿈만 바꿨는데 정확도가 크게 바뀜형식 민감도설계형식 변형 5개 이상의 점수 범위변형 폭 ≥ 판 사이 차이 = 개선 판단 보류(Sclar 2023 1절)
3개발 세트에서는 오르는데 새 메일에서 떨어짐평가 세트에 맞춘 문구평가개발 · 확인용 세트 점수 차차이가 변형 폭보다 큼 = 과적합(사례 8단계)
4예시와 같은 분류로 답이 쏠림다수 분류 · 끝 예시 편향설계분류별 예측 비율 · 내용 없는 입력(「N/A」)의 예측내용 없는 입력이 한 분류로 쏠림 = 편향(Zhao 2021 4 · 5절)
5풀이를 쓰게 했는데 오히려 정확도 하락모델 규모 · 과제가 맞지 않음설계사고 사슬 유무 두 판 점수작은 모델은 사고 사슬 이득 없음(Wei 2022 3.2절)

같은 입력을 여러 번 넣을 때 답이 바뀌면 프롬프트보다 생성 설정(온도 · 샘플링)을 먼저 보고, 문서 속 문장을 지시처럼 따르면 문구를 고치기보다 프롬프트 인젝션 대응(권한 · 격리)으로 넘긴다. 평가 세트와 판 기록이 없으면 이 표의 어느 행도 판정할 수 없으므로, 1단계(평가 세트 고정)가 진단의 전제다.

8시험 대비

출제 정보 정보관리(140회, 135회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 프롬프트 구성 요소와 기법을 묻는 정의 · 특징형, 사고 사슬 · 자동 최적화로 이어진 흐름과 한계를 묻는 동향 · 발전형이 나올 수 있다. 정의형은 «가중치 불변 · 문맥 설계 · 반복 평가» 세 낱말로 정의를 세우고 그림 3 구성으로 받친다. 동향형은 수작업 문구 → 사고 사슬 → 자동 최적화 순으로 쓰고, 형식 민감도 수치로 «평가 없는 프롬프트는 우연»이라는 한계를 맺는다.

답안 목차
  1. 개요 — 정의(가중치 불변 · 입력 문맥 설계 · 반복 평가) · 미세 조정 · RAG 와의 자리 차이 한 줄
  2. 구성 — 그림 3 다섯 요소(시스템 지시 · 출력 형식 · 예시 · 자료 · 사용자 입력) + 출력 검증 · 요소 표
  3. 기법 — 비교표(제로샷 · 퓨샷 · 사고 사슬 · 자기 일관성 · 자동 최적화 · GSM8K 수치)
  4. 개선 절차 — 그림 4 판별 점수(평가 세트 고정 → 한 요소씩 변경 → 확인용 세트)
  5. 한계와 대응 — 그림 5 형식 민감도(3.6 ~ 80.4%) · 범위 보고 · 출력 검증 · 인젝션은 별도 방어
  6. 발전 방향 — 자동 최적화(APE · OPRO) · 프롬프트 판 관리(LLMOps) · 추론 모델

꼭 쓸 키워드
시스템 지시구분자출력 스키마제로샷퓨샷사고 사슬(CoT)자기 일관성형식 민감도평가 세트자동 프롬프트 최적화

다른 답안과 차이를 내는 한 가지 — 형식 민감도 범위(3.6 ~ 80.4%)와 판 사이 차이를 나란히 그려 «개선 = 판 차이 > 변형 폭»이라는 판정 기준을 수치로 보인다.

9오해와 사실

  • 오해좋은 프롬프트는 모델을 바꿔도 그대로 좋다.
    사실한 모델에서 좋은 형식이 다른 모델에서도 좋은지는 약하게만 맞아, 모델을 바꾸면 같은 평가 세트로 다시 잰다(Sclar 2023 초록 · 4절).
  • 오해지시문을 더 친절하고 자세히 쓸수록 정확해진다.
    사실뜻이 비슷한 두 지시를 합친 문장이 두 지시보다 낮은 49.4%를 냈다(Yang 2023 5.2.3절) — 길이 · 말투가 아니라 잰 점수가 판단 기준이다.
  • 오해「단계별로 생각해 보자」는 어느 모델에나 효과가 있다.
    사실사고 사슬은 약 100B 파라미터 규모에서만 이득이 났고 작은 모델에서는 유창하지만 틀린 풀이를 만들었다(Wei 2022 3.2절).

10핵심 정리

요소 · 기법맡는 일바꾸는 곳대표 값흔한 실패확인 지표
시스템 지시역할 · 규칙 · 우선순위고정 부분사례 v3 우선순위 규칙 +8.5%p섞인 입력에 규칙 없음오류 유형별 건수
출력 형식 · 검증코드가 읽을 꼴고정 부분 + 모델 밖사례 형식 통과 88 → 100%문장으로 답함형식 통과율
예시(퓨샷)답 꼴을 보임고정 부분순서로 우연 ~ 최고 수준(Zhao 2021)다수 분류 쏠림분류별 예측 비율
구분자 · 자료지시와 자료를 나눔요청마다형식 폭 3.6 ~ 80.4%(Sclar 2023)형식 민감도변형 점수 범위
사고 사슬답 앞 중간 단계지시 · 출력 순서GSM8K 17.9 → 56.9%(Wei 2022)작은 모델 이득 없음유무 두 판 차이
자기 일관성여러 풀이 다수결호출 횟수56.5 → 74.4%(Wang 2022)호출 비용 증가정확도 ÷ 호출 수
평가 세트판마다 같은 잣대프롬프트 밖사례 개발 200 · 확인 100건개발 세트 과적합두 세트 점수 차

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ The Prompt Report: A Systematic Survey of Prompt Engineering Techniques (Schulhoff et al.) — 프롬프트 구성 요소 · 용어 · 기법 58개의 분류를 볼 때
    arXiv · 2024-06 · arxiv.org/abs/2406.06608 · 확인 2026-11-12
  3. ★ Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (Wei et al. · NeurIPS 2022) — 풀이 예시가 다단계 계산 정확도를 바꾸는 실험과 모델 크기 조건을 볼 때
    arXiv · 2022-01 · arxiv.org/abs/2201.11903 · 확인 2026-11-12
  4. ★ Large Language Models are Zero-Shot Reasoners (Kojima et al. · NeurIPS 2022) — 예시 없이 한 줄로 추론을 끌어내는 2단계 프롬프트를 볼 때
    arXiv · 2022-05 · arxiv.org/abs/2205.11916 · 확인 2026-11-12
  5. ★ Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design (Sclar et al. · ICLR 2024) — 뜻이 같은 형식 변형만으로 정확도가 벌어지는 폭을 볼 때
    arXiv · 2023-10 · arxiv.org/abs/2310.11324 · 확인 2026-11-12
  6. 본문 근거
  7. Large Language Models as Optimizers (Yang et al. · ICLR 2024) — arXiv · 2023-09 · arxiv.org/abs/2309.03409 · 확인 2026-11-12
  8. Self-Consistency Improves Chain of Thought Reasoning in Language Models (Wang et al. · ICLR 2023) — arXiv · 2022-03 · arxiv.org/abs/2203.11171 · 확인 2026-11-12
  9. Large Language Models Are Human-Level Prompt Engineers (Zhou et al. · ICLR 2023) — arXiv · 2022-11 · arxiv.org/abs/2211.01910 · 확인 2026-11-12
  10. Calibrate Before Use: Improving Few-Shot Performance of Language Models (Zhao et al. · ICML 2021) — arXiv · 2021-02 · arxiv.org/abs/2102.09690 · 확인 2026-11-12
  11. Language Models are Few-Shot Learners (Brown et al. · NeurIPS 2020) — arXiv · 2020-05 · arxiv.org/abs/2005.14165 · 확인 2026-11-12