hello, hwpm

안녕하세요, HWPM입니다! 🙋🏻‍♀️지난 실습에서는 LLaMA 3 8B 모델을 활용해 챗봇 응답 품질을 추론해보며,LLM이 문장을 어떻게 이해하고 평가하는지 실험해봤는데요 👉관련 글 보러가기이번에는 한 발 더 들어가서,GPT 모델의 ‘토크나이저(Tokenization)’, 즉 문장을 모델이 인식할 수 있는 조각들로 나누는 과정을 직접 구현해봤습니다. 🧠 왜 토크나이저를 직접 만들어봤을까?GPT 계열 모델은 입력 문장을 바로 처리하지 않아요.우선 문장을 작은 조각(Token)으로 분해하고, 그 토큰을 수치 벡터로 변환하는 과정이 필요합니다.이걸 담당하는 게 바로 Tokenizer죠."나는 자연어처리를 좋아해요." → ['나는', '자연', '어', '처리', '를', '좋아', '해요']모델이 ..

안녕하세요, HWPM입니다! 🙋🏻‍♀️오늘은 LLM 모델을 실제로 대규모로 추론해본 경험을 정리해보려 해요.모델을 학습하거나 성능을 높이는 것도 중요하지만,결국 실무에선 이렇게 묻죠:“근데 이거 서비스에 쓸 수 있어?”“시간은 얼마나 걸려?”“GPU 몇 개 써야 돼?” 그래서 이번엔 실제 Kaggle 대회에서 제공된 챗봇 응답 데이터 25,000개에 대해,Meta의 최신 모델 LLaMA-3 8B를 활용해 빠르고 안정적으로 추론하는 데 집중했습니다.🧭 프로젝트 개요목적: 테스트 데이터셋(25K)에 대해 응답 비교 문장을 생성하고,그 문장에 대해 LLaMA-3 8B 분류모델로 A/B 응답 중 더 나은 쪽을 분류모델: LLaMA-3 8B (chat) + transformers + quantized inf..

챗봇 응답을 예측하는 걸 넘어서, 이제는 직접 생성해본다!안녕하세요, HWPM입니다! 🙋🏻‍♀️ 오늘은 지난 글 [AI 대학원 실습 아카이빙 #8]에 이어, 챗봇 응답 품질을 예측하는 두 번째 방식을 소개해보려고 해요. 지난 글에서는 KerasNLP와 DeBERTaV3 분류 모델을 활용해, “주어진 응답 A/B 중 어떤 응답이 더 나은가?”를 예측하는 방식으로 접근했었죠. 👉 참고: [AI 대학원 실습 아카이빙 #8] 생성모델응용- 챗봇 응답 품질 예측하기 이번에는 관점 바꾼 프로젝트를 회고해봤습니다. “LLM이 직접 응답을 생성한다면, 과연 그 응답은 사람 기준에서 괜찮은가?” 이번 글에서는 사전학습된 LLM을 직접 돌려 한국어 응답을 생성해보고, 그 결과를 관찰하며 품질을 평..

안녕하세요, HWPM입니다! 🙋🏻‍♀️오늘은 생성형 AI 모델을 조금 더 실용적인 형태로 다뤄볼 수 있는RAG (Retrieval-Augmented Generation) 기반 챗봇 실습을 회고해보려 해요.LLM이 아무리 똑똑해도, 특정 문서 기반으로 대답하라고 하면 좀 헷갈려 하잖아요?그래서 등장한 게 바로 "검색 + 생성"의 하이브리드 구조, RAG입니다!이번 실습에서는 간단한 텍스트 코퍼스를 기반으로 RAG 구조를 직접 구성해보고,그 한계와 가능성도 함께 느낄 수 있었어요.🔍 RAG란 무엇일까?📝 검색(Retrieval) + 생성(Generation)을 결합한 모델 구조입니다.GPT 같은 LLM은 기억에 의존해 답을 생성하는 반면, RAG는 외부 지식 저장소(문서)를 검색해서 답변에 활용해요...