AI (5) 썸네일형 리스트형 [Causal Analysis] PC 알고리즘 1. 인과발견의 개념과 필요성 인과발견이란 데이터에서 변수 간의 인과관계를 밝히는 과정으로, 이 관계를 그래프 형태로 표현합니다. 인과발견이 중요한 이유는 특정 변수가 다른 변수에 미치는 영향을 정확하게 파악해야 목표 변수의 값을 효과적으로 제어할 수 있기 때문입니다. 예를 들어, 제조 공정에서 이상이 발생했을 때 원인이 되는 변수를 명확하게 특정해야 해당 변수를 모니터링하며 이상을 감지하고, 필요할 경우 해당 값을 조정하여 문제 발생을 방지할 수 있습니다. 일반적으로 변수 간의 관계를 확인할 때 상관관계를 이용하지였지만, 단순한 상관성만 확인해서는 인과관계를 명확히 밝힐 수가 없습니다. 예를 들어, X가 Y의 상관성이 높게 나타났을 때는 3가지 경우가 있을 수 있습니다.(1) X가 Y의 원인이다. (2.. 효과적인 프롬프트 엔지니어링 (기초) : 프롬프트 구성요소와 효과적인 프롬프트 구조 이번 글은 프롬프트를 작성할 때 기본적으로 이해하면 좋을 기초 내용으로 프롬프트의 구성요소, 프롬프트의 구조에 대해서 예제와 함께 소개하고 있습니다.1. 프롬프트 엔지니어링이란? 프롬프트 엔지니어링(Prompt Engineering)은 AI 모델 (LLM, Large Language Model)이 내가 원하는 답변을 출력할 수 있도록 프롬프트를 효과적으로 설계하고 최적화하는 기술을 말합니다. 여기서 프롬프트(Prompt)는 AI에게 주어지는 입력 문장을 말합니다. 쉽게 말해, 우리가 ChatGPT에게 물어볼 때 입력하는 문장과 질문들이라고 보면 됩니다. 단순하게 내가 모르는 부분에 대해서 질문만 입력할 수 있지만, '개조식으로 말해줘', '영어로 말해줘'와 같이 특정 지시도 함께 전달할 수 있는데요... LLM 기법(Fine-tuning, RAG) 설명 및 적용 가이드 검색 대신 챗봇에 먼저 물어보는 게 일상이 되어 버린 요즘, 이제 LLM(Large Language Model)은 혁신 기술에서 하나의 트렌드가 된 것 같습니다. 특정 산업 분야 가리지 않고 LLM이 사용되고 있다 보니, 모든 기업에서 LLM을 도입해 새로운 서비스를 제공하길 원하고 있습니다. 이로 인해 LLM을 도입하기 위해 어떻게 해야 하는지 궁금한 분들이 있을 것 같아 한 번 정리해 봤습니다. 이 글은 LLM을 만드는 대표적인 방법 두 가지, 파인튜닝(fine tuning)과 RAG(Retrieval Augmented Generation) 기법에 대한 개괄적인 내용을 다루고 있어 LLM에 대해 이제 막 공부를 시작한 사람들, LLM 도입을 검토 중인 사람들이 보면 좋을 것 같습니다. ✔️ LLM 모.. [최적화 알고리즘] 유전알고리즘 기본 개념 및 배낭문제 실습 (with python) 목차1. 개념 및 용어2. 알고리즘 동작원리3. 배낭문제 Python 구현 코드회사에서 최적화 관련 프로젝트를 진행하게 되면서 유전 알고리즘을 접하게 되어 유전 알고리즘이 어떤 것인지, 어떻게 최적화를 진행하는 것인지 배낭문제를 예시로 들어 정리해 보도록 하겠습니다. 1. 개념 및 용어 유전 알고리즘이란 생물체가 환경에 적응하며 진화하는 것처럼 가장 적합한 개체들이 선택되며 최적의 해를 찾는 알고리즘을 말합니다. 찰스 다윈의 자연선택 이론*에 영감을 얻어 존 홀랜드에 의해 1975년 개발되었습니다. 생물의 진화를 모방하였기 때문에 유전자와 염색체와 같은 개념과 실제 진화 과정인 교배 연산, 돌연변이의 개념을 그대로 차용하여 알고리즘 작동 원리에 녹아 있습니다.* 자연선택 이론 : 생존에 적합한 형질(키.. [LLM] Fine-tuning시 early stopping 적용하기 1. Early Stopping 사용 배경 LLM 모델을 fine-tuning 하는 과정에서 loss가 줄어들다가 다시 증가해서 2 epoch가 모두 돌아갔을 때 오히려 성능이 떨어지고 있었다. 이럴 때, 기존 딥러닝 모델 학습 시 early stopping을 콜백 함수를 넣어 지정한 early_stopping_patience 가 지나면 학습을 멈추게 했었는데 사전학습된 모델을 불러와 fine-tuning할 때도 해당 기능을 쓸 수 있는지 궁금했다. LLM 모델을 fine-tuning할 때 쉽게 사용하는 클래스가 허깅페이스의 SFTTrainer와 Trainer 클래스인데 Trainer 클래스에서는 EarlyStoppingCallback 함수를 지원하지만 SFTTrainer에서는 지원하지 않는다. 2. T.. 이전 1 다음
