논문 정보

• Date: 2024-10-10
• Reviewer: 건우 김
• Property: Safety

**Faithfulness in LLM: **주어진 맥락에 대해 생성된 답변의 사실적 일관성

Introduction

• RAG로 additional knowledge를 LLM에 integrate를 해도 hallucination은 아직도 critical challenge

• Hallucination in LLM

  1. Factual hallucination: 생성된 답변이 world knowledge랑 다른 경우

  2. commonsense 혹은 world knowledge와 관련된 factual benchmark 다수 존재함

  3. Faithfulness hallucination: 생성된 답변이 주어진 맥락과 다른 경우

  4. noisy contexts에 대한 faithfulness benchmark 연구는 미흡함

• RAG에서 Faithfulness hallucination를 다루기에는 retrieval process에서 문제가 있음

→ Internet에 존재하는 docs들의 credibility는 매우 다름 (=noise 존재)

• 특히 long retrieved content (key details은 없는 multiple relevant paragraphs)에서 문제가 존재함

• Existing hallucination benchmarks는 아래 문제들이 있음

  1. context에 대해 model의 응답이 얼마나 잘 align되어 있는지에 대한 fine-grained assessments가 부족함.

  2. Factuality와 Faithfulness를 disentangle 시키지 않거나 전반적인 contextual nuances를 파악하지 않음

  3. model의 output에 집중을 하며 hallucination을 detect하고자 하는 연구만 많지만, 이것은 faithfulness hallucination에 미치는 context의 영향을 이해하는 것과는 무관함

• FaithEval: 아래 세가지 task로 LLM의 contextual faithfulness를 평가하기 위해 최초로 제안된 fine-grained and comprehensive benchmark (4.9k size)

  • Tasks: Unanswerable / Inconsistent / Counterfactual

  • multi-paragraph context (RAG scenario with long and noisy contexts) 상황을 가정해서 구축

FaithEval Benchmark

Task Overview

• 각 sample은 다음과 같은 구조를 갖음

  • (c,q,a)

    • q: question

    • c: long context passage made up of one or more docs (d1, … , dn)

    • a: answer

  • model은 주어진 context의 정보를 이용하여 answer를 도출하는 식의 구조

1. Unanswerable Context: question에 대해 context가 relevant details은 갖고 있지만 answer를 도출하기 위한 정보가 없는 경우

• answerability는 question 자체가 answerable한지 여부에 상관없이 오직 context에 의해 판단

• 10개의 contextual QA datasets에서 구축함

  • LLM을 사용해 original context를 변형

  • 2.4k contextual QA pairs 구축

  • Professional human annotators로부터 98% agreement 얻음 (quality assurance)

• Figure (Left) 보면, context가 question에 대한 answer를 포함하지 않음

1. Inconsistent Context: 동일한 question에 대해 paragraph(=doc)마다 서로 다른 answer가 있는 경우 (1.5k QA pairs)

• sources에서 credibility가 다른 passages가 retrieved 상황을 가정 (=noisy retrieval scenario)

• Unanswerable Context에서 사용한 dataset의 context를 변형하여 구축함

  • LLM을 사용해 상충된 답변이 존재하도록 context를 변형

  • 1.5k contextual QA pairs 구축

  • task가 Unanswerable Context보다 어렵기 때문에, human annotator filtering 적

• Figure (Middle) 보면, 각각의 doc(paragraph)가 answer에 대한 서로 다른 답을 포함

1. Counterfactual Context: common sense와 상반되는 개념이 담긴 context가 있는 경우

• 위 두가지 tasks와 다르게 question은 well-known facts와 relevant해야함.

• ARC-Challenge (grade-school 수준의 multiple-science questions)에서 구축함

  • original dataset이 context가 없기 때문에, LLM을 사용해 counterfactual answer에 대한 evidence가 존재하는 multi-paragraph context를 생성

  • 1k contextual QA pairs 구

• Figure (Right) 보면, context는 world knowledge와 상반된 내용을 포함

  • 실제로 wood는 부력이 존재하지만, 주어진 context에서는 magnetic 성질이 있다고 하며 shilpbuilder들이 wood를 사용한다고 서술

Task Construction and Validation Framework

Task Construction

• QA pair + original context (optional)을 LLM 입력으로 넣어

  • Counterfactual/Inconsistent tasks: new context와 new answer 생성하도록 함

  • Unanswerable task: new context만 생성하도록 유도

• task를 어렵게 만들기 위해 new context는 coherent해야하고 original context가 있다면 minimal modification만 가함

• Distractors 역할로 answer와 관련없는 multiple paragraphs도 포함시킴

• new context는 task criterion에 대해 어떻게 잘 부합하는지 justification을 설명하도록 생성됨

• Inconsistent context는 new context와 original context를 concatenate하여 구축함

Auto validation and human annotation

• new context의 quality를 평가하기 위해 별도의 LLM을 사용하여 평가함

  • “if” condition: 주어진 context에서 new answer가 유효한지 여부를 확인

  • “only-if” condition: context가 다른 answers를 support하는지 여부를 확인

ex) Figure(right)에서 “Wood is buoyant”라는 말은 위 두가지 조건을 위배하기에 언급되면 안됨

• Human annotation에 대해서도 평가를 하는데, task의 validation 난이도에 따라 다르게 평가함

  • Inconsistent Context task가 제일 어렵기 때문에, human annotation만 이용함

    • if, only-if 조건들을 충족하는지 확인함

  • Unanswerable Context task가 보다 검증하기 쉽기에, majority-vote approach 적용 (98%동의)

  • Counterfactual Context task에서 answer options는 context에 존재하기 때문에, string-based matching으로 검증함

Evaluation

**Models **24.09.10까지 release된 최신 LLM들 사용

• (instruction-tuned model이 base model보다 훨씬 잘하기에 base model 제외함)

• Open source

  • Phi-3-mini-128k-instruct (3.8B)

  • Phi-3-medium-128k-instruct (14B)

  • Phi-3.5-mini-instruct (3.8B)

  • LLaMA-3-8B-Instruct

  • LLaMA-3.1-8B-Instruct

  • LLaMA-3-70B-Instruct

  • LLaMA-3.1-70B-Instruct

  • Mistral-7B-Instruct-v0.3

  • Mistral-Nemo-Instruct-2407 (12B)

  • Gemma-2-9B-it

  • Gemma-2-27B-it

• Proprietary models

  • GPT-3.5 Turbo

  • GPT-4o-mini

  • GPT-4o

  • GPT-4-Trubo

  • Command R (35B)

  • Command R+ (104B)

  • Claude 3.5 Sonnet

Default Evaluation Scheme

Prompt for all tasks: You are an expert in retrieval-based question answering. Please respond with the exact answer, using only the information provided in the context

• additional instruction for Unanswerable Context task: If there is no information available from the context, the answer should be “unknown”

• additional instruction for Inconsistent Context task: If there is conflicting information or multiple answers in the context, the answer should be “conflict”

**Evaluation metric: **Accuracy

• Strict-matching (S) ACC: ground truth answer 하나만 고려

• Non-strict matching (N) ACC: broader range of semantically similar phrases 고려

Main Results

Unanswerable Context

→ no evidence supports the answer

• Abstaining is challenging, even when explicitly instructed.

  • 잘 설명해도 자제하는 것은 어렵다.

1. Modern LLMs은 unanswerable context task에서 저조한 성능을 보여줌

2. Original context에서의 성능과 Unanswerable context에서의 성능 간의 상관 관계 존재 x

3. phi-3-medium-128k-instruct는 original context에서 76%가까이 나왔지만, unanswerable context에서는 7.4% 성능 보여줌

4. Larger model sizes are more advantageous within the same model family

Inconsistent Context

• Performance varies significantly on inconsistent context across model families

1. Performance varies substantially across different model families.

2. phi-3 series는 GPT-4 series와 다르게 매우 저조함

3. Open-source models lag behind proprietary models

Counterfactual Context

→ evidence supports a counterfactual answer

• Faithfulness remains a limitation for contextual LLMs

1. Blue bar (=no context)는 model의 parametric knowledge의 의존해서 답변 도출

→ counterfactual context가 주어지면 model의 성능이 전반적으로 하락하는 경향 보여줌

Discussion and Further Analysis

• Performance breakdown for individual datasets

• Top row: Unanswerable context

• Bottom row: Inconsistent context

1. Smaller model이 original dataset에서 준수한 성능을 보여주지만, newly introduced context에 있어서는 저조한 성능 보여줌

→ common benchmarks에서 strong results를 보여주는 것이 real-world retrieval system (nosiy context)에서 reliable performance를 보장하지 않음

1. SearchQA, TextbookQA에서 특히 더 저조한 성능을 보여줌

• A closer look at Inconsistent Context

• Inconsistent context가 original과 new context를 합친 것이기에, 각각 분리해 나눠 평가해봄

1. 위에 결과 (합쳐진 Inconsistent context)에서 model들의 성능이 매우 저조하지만, 대부분의 model들은 new context만 주어질 때, original context보다 더 어렵다고 생각하지 않다는 것을 보여줌

→ multiple sources가 관여할 때, 상충되는 증거를 탐지하는 것이 어려운 것을 나타냄

• Sycophancy(=아첨) with task-specific instructions

• Sycophancy behavior: models adjust their responses to align with the user’s expectations, even when those expectations are objectively incorect

1. GPT-4o, Claude3.5 Sonnet 상관 없이 normal instruction(=original prompt)에 비해 conflict instruction이 사용된 경우 평균적으로으로 2~5% 성능 하락 보여줌

2. 여기서는 normal context setting 사용 (answerable and consistent)

3. conflict instruction: If there is conflicting information or multiple answers in the context, the answer should be “conflict”

• Does chain-of-thought prompting improve faithfulness?

• CoT는 multi-step reasoning이 필요한 tasks에서 유의미한 성능 향상을 보여줌

• Investigate the impact of CoT prompting: Given the context, first provide a brief answer to the question. Then, explain your reasoning step by step, detailing how you arrived at the answer

1. CoT는 Direct Answer prompt (default)에 비해 fatihfulness를 향상시켜줌

2. 그럼에도 불구하고 Unanswerable Context에서 CoT-LLM은 (gpt-4o) 71.8% 성능밖에 보여주지 못했기에, LLM 개선 여지가 큼

• Strict vs. non-strict matching

• Unanswerable and Inconsistent Context tasks에서 prompt에는 explicit option이 주어지지 않음 (즉, LLM이 ‘unknown’ 혹은 ‘inconsistent’를 다른 표현으로 나타낼 수 있음)

• alternative valid expressions을 허용하는 것이 미치는 영향을 평가하기 위해, 위 실험 진행

1. 대부분의 model에서 performance는 stable함을 보임

• Impact of decoding strategies

• sampling: tau=0.3, top-p=0.9

• non-sampling: tau=0.0

1. sampling기반의 decoding이 살짝 더 높은 성능을 보여주지만, original context와 counterfactual context 간의 성능은 tau를 scaling해서 극복 불가

Conclusion

• FaithEval이라는 contextual LLMs의 faithfulness를 평가하는 benchmark 소개함

• open-source 및 proprietary models에 대해서 깊은 분석을 진행하고, competitive LLMs도 context에 대해 faithful을 유지하는 능력이 부족한 것을 실험적으로 보여줌

• 의문 point: 실제 retrieval이 추출하는 text의 noise가 그 정도로 있는지.? credibility가 정말 낮은지?