dongok218 님의 블로그

🔄 차이 비교표항목GPT-4 (OpenAI)PerplexityLLaMA 4 (Meta)접근 방식클라우드 기반클라우드 기반로컬 실행 또는 커스텀 서버사용 방법API 또는 웹웹모델 다운로드 후 세팅설치 필요 여부❌❌✅ (다운로드 & 실행)커스터마이징제한적 (API 기반)불가능✅ (파인튜닝 가능)GPU 필요 여부❌❌✅ (고성능 GPU 필수)예시 플랫폼chat.openai.comperplexity.aiHuggingFace, Ollama, LM Studio 등

from huggingface_hub import loginlogin("read 토큰")우선 이런식으로 로그인을 해줘야 한다. from transformers import AutoProcessor, Llama4ForConditionalGenerationimport torchmodel_id = "meta-llama/Llama-4-Maverick-17B-128E-Instruct"processor = AutoProcessor.from_pretrained(model_id)model = Llama4ForConditionalGeneration.from_pretrained( model_id, attn_implementation="flex_attention", device_map="auto", t..

■ GPT-4o의 "웹 검색" 기능Bing기반 검색을 사용해 인터넷 최신 웹사이트를 직접 검색하고, 요약해서 보여주는 기능진짜 웹 브라우저처럼 동작(검색 → 링크 클릭 → 요약)응답에 출처 링크를 붙여줌 ■ RAG의 "웹 검색" 기능사전에 준비한 지식 베이스(PDF, Notion, DB 등)에서 정보를 검색한 뒤 그걸 바탕으로 LLM이 창의적으로 생성일반적인 특정 도민에 최적화된 문서 집합을 사용 (ex: 기업 내부 문서, 제품 메뉴얼 등)검색된 문서를 응답 문장 속에 자연스럽게 녹여서 생성🔍 GPT-4o 검색 vs RAG 구조 비교항목GPT-4o “웹에서 검색”RAG정보 출처실시간 인터넷사전 구축된 문서 집합 (PDF, 내부 문서 등)검색 방식실제 웹 브라우징 (Bing 등)벡터 기반 유사도 검색 (..

■ RAG(Retrieval-Augmented Generation)"문서 검색(Retrieval)" + "텍스트 생성(Generation)"을 결합한 AI 아키텍처이다. 즉, 외부 지식 소스에서 정보를 검색해서, 그걸 바탕으로 텍스트를 생성하는 방식임. ■ LLM의 문제점최신 정보의 부재출처의 부정확함→ LLM의 이 두가지 문제랄 '할루시네이션 현상'이라고 함. ■ LLM과 RAG동작 방식① 유저의 Prompt + Prompt를 바탕으로 VectorDB에서 먼저 검색② 검색해서 나온 정보 + 유저 Prompt에 대한 LLM의 답변 + 해당 답변에 대한 증거 제시 ★Vector DataBase란 (Private Information 또는 Public Information)이 들어가 있을 수 있으며, 학습..