category
AI·LLM
LLM·RAG·임베딩·에이전트 패턴. · 24편
AI·LLM llm · cost
LLM 운영 비용 폭주를 막는 6가지 guardrail — 마케팅 자동화의 cost·latency·품질 동시 관리
LLM을 운영에 올리면 어느 날 갑자기 비용이 10배로 튑니다. retry storm·프롬프트 폭증·모델 자동 승격·context 누적 등 폭주 패턴 6가지와 그것을 막는 guardrail을 정리합니다.
AI·LLM llm · evaluation
LLM evaluation harness — 분기마다 챗봇 품질을 자동 평가하는 공장
챗봇·에이전트가 운영에 들어가면 한 번 평가가 아니라 분기 자동 평가가 필요합니다. 골든셋·regression·hyperparameter A/B를 묶는 evaluation harness 설계와 마케팅 자리에서의 적용.
AI·LLM llm · context
Context engineering — 200k 토큰 컨텍스트의 설계 원칙 5가지
컨텍스트 창이 200k 토큰까지 커졌지만 단순히 다 넣으면 lost-in-the-middle·비용 폭발·정확도 하락이 옵니다. 마케팅 자동화에 적용하는 5가지 컨텍스트 설계 원칙.
AI·LLM llm · function-calling
Function calling 설계 패턴 — LLM이 도구를 부를 때 마케터가 점검할 것
LLM이 광고 API·BigQuery·Slack을 직접 부르기 시작하면, 답변 품질보다 "어느 도구를 언제 부를지"가 운영 사고의 진앙이 됩니다. function calling의 한 줄 직관과 마케터가 점검할 5가지.
AI·LLM llm · cost
LLM token economics — 자동화의 단위 경제학을 분기 보고로 끌고 가기
LLM 자동화의 비용은 호출 수 × 입력 토큰 × 단가로 빠르게 커집니다. 호출별 비용·일일 합계·모델별 단위 경제학을 분기 보고에 박는 한 가지 표 양식.
AI·LLM llm · agent
Multi-agent orchestration — supervisor·swarm·planner-executor 패턴 비교
한 LLM이 모든 일을 다 하면 결과가 흔들립니다. 여러 에이전트가 역할을 나눠 협업하는 multi-agent orchestration의 3가지 표준 패턴과 마케팅 자동화에 적용하는 자리.
AI·LLM llm · prompt-caching
Prompt caching 운영 경제학 — 같은 프롬프트를 1000번 보낼 때 비용을 90% 줄이는 법
시스템 프롬프트·페르소나·문서가 호출마다 동일하다면 그 부분을 캐시할 수 있습니다. Anthropic·OpenAI의 prompt caching 작동 원리와 마케팅 자동화의 비용을 90% 깎는 운영 패턴.
AI·LLM rag · reranking
RAG 재순위(re-ranking) — cross-encoder로 검색 정밀도를 한 단계 올리기
벡터 검색이 가져온 Top 50을 LLM에 그대로 넘기면 정밀도가 깨집니다. cross-encoder 재순위가 그 50개를 다시 정렬해 Top 5만 LLM에 넘기면 답변 품질이 한 단계 올라갑니다.
AI·LLM llm · structured-output
Structured output 운영 — JSON Schema와 강제 형식이 LLM 사고를 줄이는 법
LLM이 자유 텍스트로 답하면 파서가 깨집니다. JSON Schema·strict mode로 출력 형식을 강제하면 자유도는 줄지만 운영 안정성은 폭증. 마케팅 자동화에서 자주 만나는 자리와 함정.
AI·LLM vector-db · rag
Vector DB 비교 — pgvector·Pinecone·Qdrant·Weaviate를 마케터 시선에서
RAG 챗봇에 검색이 들어가면 vector DB 선택이 운영 비용·속도를 결정합니다. pgvector·Pinecone·Qdrant·Weaviate 4개를 비용·운영 부담·확장성·기능 차원에서 비교.
AI·LLM ai-agent · evaluation
AI 에이전트 평가 — pass@k와 trajectory eval로 다단계 추론을 검증하는 법
단일 응답 LLM은 정확도 한 숫자로 평가하면 됩니다. 도구를 쓰고·여러 단계를 거치는 에이전트는 그게 안 통합니다. pass@k·trajectory eval·tool-use 정확도까지 합쳐 다단계 추론을 검증하는 법, 마케팅 에이전트 운영에 그대로 가져갈 평가 도구.
AI·LLM embedding · fundamentals
임베딩이란 뭔가 — 단어가 숫자가 되는 자리, 마케터를 위한 직관
"임베딩"이라는 단어가 자주 나오는데 정확히 뭔지 한 번도 안 들여다보면 RAG·추천·검색이 늘 신비로 남습니다. 단어·문장·이미지가 어떻게 숫자 벡터가 되고 그 벡터로 무엇을 할 수 있는지 — 마케터가 LLM·추천·검색을 이해하는 두 번째 기초 체력.
AI·LLM embedding · drift
임베딩 운영 — drift·차원·cosine vs dot, 마케팅 임베딩이 흔들리는 자리
광고 카피·상품·유저를 임베딩으로 다루기 시작하면 첫 달은 잘 되다가 셋째 달부터 어긋납니다. 모델 버전이 바뀌고 도메인이 흔들리고 차원·거리 metric이 안 맞아서. 운영자가 임베딩을 안전하게 굴릴 때 챙겨야 할 자리들을 정리합니다.
AI·LLM fine-tuning · rag
fine-tuning vs RAG vs prompting — 같은 LLM을 다르게 쓰는 세 도구의 분기
같은 LLM을 우리 자리에 맞게 쓰는 길이 세 갈래입니다 — prompting(지시), RAG(외부 검색), fine-tuning(모델 자체 변경). 비용·속도·정확도가 모두 다릅니다. 마케터·운영자가 어느 자리에 어느 도구를 골라야 하는지의 결정 트리.
AI·LLM llm-as-judge · evaluation
LLM-as-judge — 모델이 모델을 평가할 때 무엇이 깨지고 무엇이 살아남는가
광고 카피 자동 생성·RAG 답변 품질·챗봇 응답 평가는 사람이 다 못 봅니다. LLM에게 "이 출력이 좋은가"를 물어 점수를 받는 LLM-as-judge가 표준이 되어가지만, 그 자체가 깨지는 자리도 많습니다. position bias·verbosity bias를 알고 보정하는 운영법.
AI·LLM llm · tokenization
LLM이 어떻게 답을 만드는가 — 토큰·다음 단어 예측·temperature 기초 체력
GPT·Claude·Gemini가 답을 어떻게 만드는지 한 번도 안 들여다보면 LLM 활용이 늘 신비로 남습니다. 토큰화·다음 단어 예측·temperature·top-p의 4가지 핵심만 잡으면 LLM이 왜 그렇게 답하는지 보입니다. 마케터가 LLM을 다룰 때의 첫 기초 체력.
AI·LLM hallucination · llm
LLM 환각이 일어나는 이유 — 자신 있게 틀린 답을 하는 자리의 이해
LLM은 모르는 자리에서 "모릅니다" 대신 그럴듯한 거짓을 만들어냅니다. 이 환각(hallucination)의 원인은 LLM이 통계적 토큰 예측기라는 본질에 있습니다. 왜 일어나는지·언제 가장 자주 발생하는지·어떻게 줄이는지를 마케터 시각으로 정리.
AI·LLM prompt-engineering · dspy
프롬프트 자동 최적화 — DSPy·OPRO로 사람이 안 만지는 프롬프트 만들기
프롬프트는 사람이 매번 손으로 튜닝합니다. 모델이 바뀌면 다시 처음부터. DSPy·OPRO 같은 프레임은 프롬프트를 자동으로 최적화합니다 — 골든셋과 메트릭만 주면 도구가 가장 좋은 프롬프트를 찾아옵니다. 마케터가 알아야 할 자동 프롬프트 엔지니어링.
AI·LLM rag · latency
RAG 운영 비용·latency — 검색·생성·임베딩의 비용을 분리하고 깎는 법
RAG 챗봇이 잘 굴러갈수록 쿼리당 0.05달러·1.5초가 누적됩니다. 월 100만 쿼리면 5만 달러. 비용·latency를 검색·생성·임베딩 3축으로 분리해 어디서 깎을지 정리합니다. 정확도를 거의 안 깎고 비용을 1/3로 줄이는 운영 패턴.
AI·LLM transformer · attention
트랜스포머 직관 — attention이 LLM의 핵심이 된 이유
"트랜스포머·attention"이라는 단어가 LLM 글에 늘 나옵니다. 정확히 뭐냐고 물으면 답하기 어렵죠. 마케터가 알아야 할 단 한 가지 직관 — "어느 단어가 어느 단어를 보고 있나" — 만 잡으면 LLM의 강점·약점이 보입니다. 수식 없이 풀어가는 트랜스포머 입문.
AI·LLM creative-fatigue · embeddings
광고 크리에이티브 피로도(creative fatigue), 임베딩으로 미리 잡기
같은 광고를 3주째 돌리는데 CTR이 슬슬 빠집니다. 언제 갈아치워야 할까. 이미지·텍스트 임베딩으로 "기존 자산과 다른 새 후보"를 자동 추천하는 운영 워크플로우.
AI·LLM llm · ad-copy
LLM으로 광고 카피 100개 + CTR 예측까지 — 운영자용 4단계 워크플로우
카피라이터 한 명이 하루에 30개 만들 시간에, LLM은 100개를 5분에 만듭니다. 그런데 그 100개를 그대로 광고에 태우면 안 돼요. 임베딩으로 중복 제거하고 과거 CTR로 사전 스코어링하는 운영 파이프라인.
AI·LLM llm · agent
LLM 에이전트로 마케팅 리포트 자동화 — 실패 사례에서 본 한계
LLM 에이전트로 마케팅 리포트를 자동화할 때 어디까지가 진짜 쓸만하고 어디서 깨지는지, tool-use·환각 방지·실무 패턴을 마케터 시각으로 정리.
AI·LLM rag · llm
RAG 시스템을 정량 평가하는 4가지 지표 — 마케팅 챗봇을 만든다면
마케팅 FAQ 챗봇·내부 위키 검색을 RAG로 만들 때, "답변이 맞다"를 어떻게 숫자로 증명할까. context relevance부터 faithfulness까지 4가지 지표를 케이스로 풀어봅니다.