Whitepaper Prompt Engineering by Lee Boonstra

 

The document is a whitepaper on prompt engineering for large language models, detailing techniques, configurations, and best practices for crafting effective prompts to optimize model outputs.

Acknowledgements and Contributors Overview

The document acknowledges contributions from various reviewers, curators, editors, and designers in prompt engineering. ​

Effective Prompt Engineering for Gemini Model

Crafting effective prompts for the Gemini model in Vertex AI is crucial, as inadequate prompts can lead to ambiguous responses. This whitepaper provides techniques and best practices for prompt engineering to enhance model output. ​

Understanding LLMs and Prompt Engineering

LLMs function as prediction engines, generating text by predicting the next token based on prior input. ​ Effective prompt engineering is crucial for optimizing model outputs, involving adjustments to prompt length and structure. ​ This process is essential for various tasks, including text summarization and code generation. ​

Understanding LLM Configuration Settings

This section explains the configuration settings for LLMs, including output length, sampling controls, and their impact on results. ​

• Output length affects computation, energy consumption, and costs, with shorter outputs requiring prompt engineering. ​
• Temperature controls randomness in token selection, with lower values yielding deterministic responses and higher values allowing for more creativity. ​
• Top-K sampling selects the top K tokens based on predicted probabilities, while top-P sampling restricts selection to tokens whose cumulative probability does not exceed P. ​
• A temperature of 0 results in deterministic output, making top-K and top-P irrelevant, while high temperature values render them ineffective. ​
• Recommended starting settings for coherent results are temperature of 0.2, top-P of 0.95, and top-K of 30. ​
• For creative outputs, settings of temperature 0.9, top-P 0.99, and top-K 40 are suggested. ​
• Tasks with a single correct answer should begin with a temperature of 0 for optimal results. ​
• The interplay of temperature, top-K, and top-P settings is crucial for achieving desired output quality. ​

Techniques for Effective Prompt Engineering

This section discusses various prompt engineering techniques for optimizing large language models' performance and output quality.

• Large Language Models (LLMs) are trained to follow instructions and generate text based on prompts. ​
• Clearer prompts lead to better predictions and results from LLMs. ​
• Zero-shot prompting provides a task description without examples, while one-shot and few-shot prompting include examples to guide the model. ​
• System prompting sets the overall context and purpose for the model, while contextual prompting provides specific details relevant to the task. ​
• Role prompting assigns a specific identity to the model, enhancing the relevance and style of responses. ​
• Step-back prompting encourages the model to consider broader principles before addressing specific tasks, improving accuracy. ​
• Chain of Thought (CoT) prompting generates intermediate reasoning steps, enhancing the model's reasoning capabilities. ​
• Self-consistency combines sampling and majority voting to improve the accuracy of LLM responses. ​
• Tree of Thoughts (ToT) allows exploration of multiple reasoning paths simultaneously, suitable for complex tasks. ​
• Reason and act (ReAct) prompting combines reasoning with actions, enabling LLMs to interact with external tools for problem-solving. ​
• Automatic Prompt Engineering (APE) automates the prompt creation process, enhancing model performance. ​
• Code prompting enables LLMs to write, explain, translate, and debug code across different programming languages. ​
• The section emphasizes the importance of structured prompts and iterative testing to achieve desired outcomes.
• Effective prompt engineering can significantly improve the quality and relevance of LLM outputs.
• The techniques discussed are applicable across various domains, enhancing the utility of LLMs in real-world applications. ​

Best Practices for Prompt Engineering

This section discusses effective strategies for prompt engineering, including examples, simplicity, specificity, and documentation.

• Providing one-shot or few-shot examples within prompts significantly improves the model's accuracy and response quality. ​
• Prompts should be concise and clear, avoiding complex language to ensure understanding by both the user and the model. ​
• Specific instructions about the desired output enhance the model's focus and accuracy, while positive instructions are preferred over constraints. ​
• Controlling the maximum token length in responses can be achieved by setting limits in configurations or explicitly requesting specific lengths. ​
• Using variables in prompts allows for dynamic and reusable prompts, saving time and effort in prompt creation. ​
• Experimenting with different input formats, writing styles, and output formats can yield varied and improved results. ​
• Documenting prompt attempts in detail helps track performance and refine prompts over time, ensuring effective prompt engineering.
• The iterative process of crafting, testing, and refining prompts is essential for achieving desired outputs and adapting to model updates. ​

Techniques and Challenges in Prompt Engineering

This whitepaper covers nine prompting techniques, challenges in generative AI, and best practices for improvement. ​

Overview of Google Gemini and Prompting Techniques

This section discusses various resources and research related to Google's Gemini and advanced prompting techniques for language models.

• Google Gemini, launched in 2023, is a significant development in generative AI, with resources available for users. ​
• Research papers from 2023 highlight advancements in prompting techniques, including Chain of Thought and ReAct methodologies. ​
• The Google Cloud Model Garden provides tools for implementing these advanced prompting strategies in language models.
• Key studies demonstrate that fine-tuned language models can effectively perform zero-shot and few-shot learning tasks. ​

이 문서는 대규모 언어 모델(LLM)을 위한 프롬프트 엔지니어링에 관한 백서로, 효과적인 프롬프트를 설계하여 모델 출력 최적화를 위한 기술, 설정, 모범 사례를 자세히 설명하고 있습니다.

감사 및 기여자 개요

문서는 프롬프트 엔지니어링에 기여한 리뷰어, 큐레이터, 편집자 및 디자이너들의 공헌을 인정합니다.

Gemini 모델을 위한 효과적인 프롬프트 엔지니어링

Vertex AI의 Gemini 모델에 효과적인 프롬프트를 설계하는 것은 매우 중요합니다. 부적절한 프롬프트는 모호한 응답을 초래할 수 있기 때문입니다. 이 백서는 모델 출력을 향상시키기 위한 프롬프트 엔지니어링 기술과 모범 사례를 제공합니다.

LLM과 프롬프트 엔지니어링 이해

LLM은 예측 엔진으로 작동하며, 이전 입력을 기반으로 다음 토큰을 예측하여 텍스트를 생성합니다.
효과적인 프롬프트 엔지니어링은 모델 출력을 최적화하는 데 필수적이며, 이는 프롬프트 길이와 구조 조정을 포함합니다.
이 과정은 텍스트 요약이나 코드 생성과 같은 다양한 작업에서 중요합니다.

LLM 설정 이해

이 섹션에서는 LLM의 설정(출력 길이, 샘플링 제어 등)과 결과에 미치는 영향을 설명합니다.

• 출력 길이: 계산량, 에너지 소비, 비용에 영향을 미치며, 짧은 출력은 더 세밀한 프롬프트 엔지니어링이 필요합니다.
• 온도(Temperature): 토큰 선택의 무작위성을 제어하며, 낮은 값은 결정론적 응답을, 높은 값은 창의적인 응답을 유도합니다.
• Top-K 샘플링: 예측 확률 상위 K개의 토큰을 선택합니다.
• Top-P 샘플링: 누적 확률이 P를 초과하지 않는 토큰만 선택합니다.
• 온도가 0일 경우 출력은 결정론적이며, 이때 Top-K와 Top-P는 무의미해집니다. 반면 높은 온도에서는 두 설정이 효과를 잃습니다.
• 추천 설정:
  • 논리적 결과: 온도 0.2, Top-P 0.95, Top-K 30
  • 창의적 결과: 온도 0.9, Top-P 0.99, Top-K 40
  • 단일 정답 작업: 온도 0
• 온도, Top-K, Top-P 설정 간의 상호작용은 원하는 출력 품질을 달성하는 데 중요합니다.

효과적인 프롬프트 엔지니어링 기술

이 섹션에서는 LLM의 성능과 출력 품질을 최적화하기 위한 다양한 프롬프트 엔지니어링 기술을 다룹니다.

• 명확한 프롬프트가 더 나은 예측과 결과를 도출합니다.
• Zero-shot prompting: 예제 없이 작업 설명만 제공
• One-shot 및 Few-shot prompting: 작업 예제를 포함하여 모델 가이드
• 시스템 프롬프팅: 모델의 전체 맥락과 목적 설정
• 컨텍스트 프롬프팅: 작업과 관련된 세부 정보 제공
• 역할 프롬프팅(Role prompting): 모델에 특정 정체성을 부여하여 응답 스타일 향상
• Step-back prompting: 특정 작업 전 더 넓은 원칙 고려를 유도하여 정확성 향상
• Chain of Thought(CoT) prompting: 중간 추론 단계를 생성하여 추론 능력 강화
• Self-consistency: 샘플링 및 다수결 투표를 결합하여 정확성 향상
• Tree of Thoughts(ToT): 여러 추론 경로를 동시에 탐색해 복잡한 작업에 적합
• Reason and Act(ReAct) prompting: 추론과 행동 결합으로 외부 도구와 상호작용 가능
• Automatic Prompt Engineering(APE): 자동화된 프롬프트 생성으로 성능 향상
• Code prompting: 다양한 프로그래밍 언어로 코드 작성, 설명, 번역 및 디버깅 지원

구조화된 프롬프트와 반복 테스트는 원하는 결과를 달성하는 데 중요하며, 이러한 기술은 실제 응용 분야에서 LLM의 유용성을 크게 향상시킵니다.

프롬프트 엔지니어링 모범 사례

효과적인 프롬프트 설계를 위한 전략에는 다음이 포함됩니다:

• One-shot 또는 Few-shot 예제를 제공하면 모델의 정확성과 응답 품질이 크게 개선됩니다.
• 간결하고 명확한 프롬프트는 사용자와 모델 모두가 쉽게 이해할 수 있습니다.
• 구체적인 출력 지침 제공으로 모델의 집중력과 정확성을 높일 수 있으며 긍정적인 지침이 제약보다 선호됩니다.
• 응답 최대 토큰 길이를 제어하려면 구성에서 제한을 설정하거나 명시적으로 특정 길이를 요청할 수 있습니다.
• 변수 사용으로 동적이고 재사용 가능한 프롬프트 생성 가능
• 입력 형식, 작성 스타일 및 출력 형식 실험으로 다양한 결과 도출 가능
• 시도한 프롬프트를 문서화하면 성능 추적 및 개선에 도움을 주며 반복적인 테스트와 조정 과정은 필수입니다.

구글 Gemini와 고급 프롬프팅 기술 개요

구글 Gemini와 관련된 리소스 및 고급 프롬프팅 기술 연구가 다뤄집니다.

• Google Gemini는 2023년에 출시된 생성형 AI의 주요 발전 중 하나로 다양한 리소스를 제공합니다.
• Chain of Thought(CoT) 및 ReAct 방법론 등 고급 기술 발전에 대한 연구 논문이 발표되었습니다.
• Google Cloud Model Garden은 이러한 고급 전략 구현 도구를 제공합니다.