tag
#ai
10개의 글
AI·LLM ai-agent · evaluation
AI 에이전트 평가 — pass@k와 trajectory eval로 다단계 추론을 검증하는 법
단일 응답 LLM은 정확도 한 숫자로 평가하면 됩니다. 도구를 쓰고·여러 단계를 거치는 에이전트는 그게 안 통합니다. pass@k·trajectory eval·tool-use 정확도까지 합쳐 다단계 추론을 검증하는 법, 마케팅 에이전트 운영에 그대로 가져갈 평가 도구.
AI·LLM embedding · fundamentals
임베딩이란 뭔가 — 단어가 숫자가 되는 자리, 마케터를 위한 직관
"임베딩"이라는 단어가 자주 나오는데 정확히 뭔지 한 번도 안 들여다보면 RAG·추천·검색이 늘 신비로 남습니다. 단어·문장·이미지가 어떻게 숫자 벡터가 되고 그 벡터로 무엇을 할 수 있는지 — 마케터가 LLM·추천·검색을 이해하는 두 번째 기초 체력.
AI·LLM embedding · drift
임베딩 운영 — drift·차원·cosine vs dot, 마케팅 임베딩이 흔들리는 자리
광고 카피·상품·유저를 임베딩으로 다루기 시작하면 첫 달은 잘 되다가 셋째 달부터 어긋납니다. 모델 버전이 바뀌고 도메인이 흔들리고 차원·거리 metric이 안 맞아서. 운영자가 임베딩을 안전하게 굴릴 때 챙겨야 할 자리들을 정리합니다.
AI·LLM fine-tuning · rag
fine-tuning vs RAG vs prompting — 같은 LLM을 다르게 쓰는 세 도구의 분기
같은 LLM을 우리 자리에 맞게 쓰는 길이 세 갈래입니다 — prompting(지시), RAG(외부 검색), fine-tuning(모델 자체 변경). 비용·속도·정확도가 모두 다릅니다. 마케터·운영자가 어느 자리에 어느 도구를 골라야 하는지의 결정 트리.
AI·LLM llm-as-judge · evaluation
LLM-as-judge — 모델이 모델을 평가할 때 무엇이 깨지고 무엇이 살아남는가
광고 카피 자동 생성·RAG 답변 품질·챗봇 응답 평가는 사람이 다 못 봅니다. LLM에게 "이 출력이 좋은가"를 물어 점수를 받는 LLM-as-judge가 표준이 되어가지만, 그 자체가 깨지는 자리도 많습니다. position bias·verbosity bias를 알고 보정하는 운영법.
AI·LLM llm · tokenization
LLM이 어떻게 답을 만드는가 — 토큰·다음 단어 예측·temperature 기초 체력
GPT·Claude·Gemini가 답을 어떻게 만드는지 한 번도 안 들여다보면 LLM 활용이 늘 신비로 남습니다. 토큰화·다음 단어 예측·temperature·top-p의 4가지 핵심만 잡으면 LLM이 왜 그렇게 답하는지 보입니다. 마케터가 LLM을 다룰 때의 첫 기초 체력.
AI·LLM hallucination · llm
LLM 환각이 일어나는 이유 — 자신 있게 틀린 답을 하는 자리의 이해
LLM은 모르는 자리에서 "모릅니다" 대신 그럴듯한 거짓을 만들어냅니다. 이 환각(hallucination)의 원인은 LLM이 통계적 토큰 예측기라는 본질에 있습니다. 왜 일어나는지·언제 가장 자주 발생하는지·어떻게 줄이는지를 마케터 시각으로 정리.
AI·LLM prompt-engineering · dspy
프롬프트 자동 최적화 — DSPy·OPRO로 사람이 안 만지는 프롬프트 만들기
프롬프트는 사람이 매번 손으로 튜닝합니다. 모델이 바뀌면 다시 처음부터. DSPy·OPRO 같은 프레임은 프롬프트를 자동으로 최적화합니다 — 골든셋과 메트릭만 주면 도구가 가장 좋은 프롬프트를 찾아옵니다. 마케터가 알아야 할 자동 프롬프트 엔지니어링.
AI·LLM rag · latency
RAG 운영 비용·latency — 검색·생성·임베딩의 비용을 분리하고 깎는 법
RAG 챗봇이 잘 굴러갈수록 쿼리당 0.05달러·1.5초가 누적됩니다. 월 100만 쿼리면 5만 달러. 비용·latency를 검색·생성·임베딩 3축으로 분리해 어디서 깎을지 정리합니다. 정확도를 거의 안 깎고 비용을 1/3로 줄이는 운영 패턴.
AI·LLM transformer · attention
트랜스포머 직관 — attention이 LLM의 핵심이 된 이유
"트랜스포머·attention"이라는 단어가 LLM 글에 늘 나옵니다. 정확히 뭐냐고 물으면 답하기 어렵죠. 마케터가 알아야 할 단 한 가지 직관 — "어느 단어가 어느 단어를 보고 있나" — 만 잡으면 LLM의 강점·약점이 보입니다. 수식 없이 풀어가는 트랜스포머 입문.