Data Analysis/Natural Language Processing
-
대형언어모델(Large Language Model, LLM)이란?Data Analysis/Natural Language Processing 2023. 10. 14. 14:21
Table of Contents Introduction 대형언어모델(Large Language Model, LLM)이란? 대형언어모델의 전망 Reference Introduction 한 동안 ChatGPT에 대한 광풍이 불면서, ChatGPT를 활용한 다양한 책들이 등장하기 시작했다. OpenAI에서 제공하는 ChatGPT-3는 Open AI 홈페이지에서 무료로 제공하고 있어, 사용자들이 손쉽게 접근 할 수 있다. 한때, ChatGPT를 사용해서 과제나 시험의 부정행위로 사용했던 부정적인 이면을 보였음에도 ChatGPT를 활용한 다양한 사용법들이 가이드되고 있다. 기업에서는 신입사원들의 업무 지원을 하기 위한 목적으로도 활용하기도 하고, 인생의 2막을 열기 위해 블로그를 작성하거나 책을 쓰기 위해 기초 ..
-
[NLP] 자연어처리(Natural Language Processing)란?Data Analysis/Natural Language Processing 2021. 8. 22. 16:28
Table of Contents Introduction 자연어처리(Natural Language Processing)란? 자연어처리 프로세스 Reference Introduction 자연어 처리는 인간과 컴퓨터 간의 소통을 돕는 기술 중 하나로, 컴퓨터가 인간의 언어를 이해하고 생성하는 것을 가능하다. 예를 들어, 이제는 인공지능 스피커를 통해 음성 명령을 내리거나, 챗봇(Chat-bot)을 통해 대화를 나누는 것이 일상적인 일이 되었다. 이러한 기술이 가능한 것은 바로 자연어 처리 기술 덕분이다. 다만, 현재의 자연어 처리는 아직까지 높은 정확도를 보여주고 있지 않다. 컴퓨터가 미묘한 문장의 의미나 뉘앙스를 정확하게 파악하는 것은 어려운 일이기 때문이다. 이러한 한계를 극복하기 위해 연구가 지속적으로 ..
-
[NLP] 문서 요약(Text Summarization)Data Analysis/Natural Language Processing 2020. 11. 7. 13:40
Table of Contents Introduction 문서 요약(Text Summarization)이란? Reference Introduction 빅데이터 분석의 수요가 증가하면서 비정형 데이터 분석 및 활용 사례도 점차 늘어나고 있다. 데이터 발생의 80~90%가 비정형 데이터로 구성되있는 것에 비해 비정형 데이터 활용은 가야할 길이 멀다. 비정형 데이터 중에서 텍스트는 우리 주변에서 다양하게 활용하고 있으며, 정보 전달에 가장 중요한 역할을 한다. 다른 비정형 데이터나 정형 데이터보다 쉽게 수집이 가능하다는 점에서 분석가들의 관심을 끌고 있다. 텍스트 분석의 활용은 문서 분류(Document Classification), 문서 요약(Document Summarization), 감성 분석(Sentim..