본문 바로가기
반응형

전체 글

[AI] AI 토큰이란? 파이썬 tiktoken으로 토큰 수 계산하기 AI 토큰과 글자 수의 차이를 이해하고, 파이썬 tiktoken으로 영어 문장의 토큰 수를 직접 계산해보세요. 혹시 AI 모델 설명에서 "토큰"이라는 말을 보고 "그게 글자 수 얘기하는 건가?" 하고 대충 넘어간 적 있으세요?결론부터 말하면 토큰은 글자 수와 비슷하지만 완전히 같지는 않아요.지난 두 편에서 LLM이 뭔지, 전통적인 AI와 뭐가 다른지 살펴봤는데요, 오늘부터는 이번 주 내내 만들어볼 작은 프로젝트, "토큰 계산기"의 첫걸음을 시작해볼게요. AI가 우리 글을 어떻게 "읽는지" 그 최소 단위부터 짚고 넘어갈 거예요. 이 글에서 배울 내용은 토큰(Token)이 정확히 뭘 가리키는 단어인지AI가 왜 글자 하나하나가 아니라 "토큰" 단위로 글을 처리하는지파이썬 tiktoken 라이브러리로 텍.. 더보기
[AI] 일상 속 AI와 생성형 AI의 차이: 스팸 필터·지도·번역기로 이해하기 스팸 필터·지도 앱·번역기로 일상 속 AI와 생성형 AI의 차이를 알아봅니다. “나는 AI를 잘 몰라요”라고 생각해도, 오늘 이미 AI가 활용된 서비스를 여러 번 썼을 수 있어요.메일함에서 스팸을 걸러주고, 지도 앱에서 교통 상황을 예측하고, 번역기에서 외국어 문장을 바꿔주는 기능이 대표적이에요. 그런데 이런 기능을 쓸 때는 AI라는 느낌이 잘 들지 않다가, ChatGPT 같은 서비스에 질문할 때는 “지금 AI를 쓰고 있구나” 하고 느끼게 되죠. 이번 글에서는 익숙한 세 가지 사례로 AI가 어떤 일을 하는지 살펴보고, 생성형 AI와 어떻게 연결되는지 알아볼게요. 처음 읽는 분도 이해할 수 있도록 어려운 용어는 필요한 만큼만 설명하겠습니다. 이 글에서 배울 내용은 스팸 필터·지도 앱·번역기에서 AI.. 더보기
[AI] LLM이란? ChatGPT·Claude·Gemini의 원리와 차이 쉽게 이해하기 LLM이란 무엇일까요? ChatGPT·Claude·Gemini가 답변을 만드는 원리부터 GPT와 ChatGPT의 차이 혹시 "ChatGPT는 OpenAI 거고, Claude는 Anthropic 거고, Gemini는 구글 거다"까지는 아는데, 그래서 셋이 뭐가 다른 건지는 설명하기 애매했던 적 있으세요? 이름도 회사도 다른데 하는 일은 다 "질문하면 답해주는" 거라서 더 헷갈리기 쉬워요.이번 글에서는 이 서비스의 핵심 기술인 LLM(거대언어모델)이 무엇인지 알아볼게요.답변을 만드는 원리와 모델·서비스의 차이를 살펴보고, 같은 질문을 세 서비스에 직접 던져보겠습니다. 이 글에서 배울 내용LLM(거대언어모델)이 무엇인지, LLM이 답변을 만드는 기본 원리, GPT와 ChatGPT의 차이, 그리고 Claude.. 더보기
[AI] LLM은 어떻게 답을 만들까? GPT·Claude·Gemini가 다르게 느껴지는 이유 LLM은 다음 토큰 예측을 반복해 답을 만듭니다. LLM은 질문을 이해한 뒤 다음에 올 토큰(Token)의 가능성을 계산하며 답을 만들어내는 AI예요.GPT·Claude·Gemini가 서로 다르게 느껴지는 이유와, 직접 비교해 보는 방법까지 쉽게 살펴볼게요.이 글에서 배울 내용은 아래와 같습니다.LLM이 답변을 만드는 기본 원리단어와 토큰의 차이GPT·Claude·Gemini의 답변이 달라지는 이유같은 질문으로 챗봇 답변을 비교하는 방법 LLM은 다음 단어가 아니라 다음 토큰을 예측해요 토큰은 AI가 글을 나누어 읽는 작은 단위예요LLM을 설명할 때 “다음 단어를 맞히는 AI”라고 많이 말해요. 처음 이해하기에는 좋은 비유예요.하지만 조금 더 정확하게 말하면 LLM은 다음 토큰을 예측해요.토큰은 단어.. 더보기
[AI] AI란 무엇인가? 초보자를 위한 LLM·ChatGPT·Claude·Gemini 쉽게 이해하기 AI, 생성형 AI, LLM의 차이를 처음부터 쉽게 정리합니다. AI는 이미 우리 일상에 있습니다 뉴스나 유튜브에서 “AI”라는 말을 자주 듣지만, 막상 정확한 뜻을 묻는다면 조금 막막할 수 있습니다.사실 우리는 오래전부터 AI가 활용된 서비스를 매일 사용해 왔습니다. 예를 들어 넷플릭스는 시청 기록과 비슷한 취향의 이용자 데이터를 바탕으로 볼 만한 콘텐츠를 추천합니다.내비게이션 앱은 교통 상황을 분석해 경로를 제안하고, 이메일 서비스는 의심스러운 메시지를 스팸으로 분류합니다. 작동 방식은 서로 다르지만, 데이터에서 패턴을 찾아 예측·추천·분류에 활용한다는 점에서 모두 AI의 대표적인 사례입니다.AI는 ‘인간처럼 생각하는 로봇’만을 뜻하지 않습니다. 특정 문제를 더 잘 풀도록 컴퓨터를 돕는 다양한 .. 더보기
[Notion] 노션 웹 클리퍼로 인터넷 자료를 자동으로 수집하고 분류하는 방법 4 ｜필터·정렬·오류 해결과 AI 자동 분류 방법 자동 채우기로 요약과 분류 작업을 줄이는 방법 노션 웹 클리퍼로 저장한 자료를 필터, 정렬, 그룹화로 빠르게 찾고, 본문·이미지 저장 오류를 해결하며 Notion AI 자동 채우기로 요약과 분류 작업을 줄이는 방법을 설명합니다. 자료를 많이 저장했는데 정작 찾지 못하고 있나요? 노션 웹 클리퍼를 사용하면 유튜브 영상, 뉴스 기사, 블로그 글, 쇼핑몰 상품, 디자인 레퍼런스를 빠르게 저장할 수 있습니다. 하지만 자료가 많아지면 새로운 문제가 생깁니다. 처음에는 자료가 10개 정도라서 눈으로 찾아도 됩니다. 그런데 자료가 100개, 200개로 늘어나면 다음과 같은 일이 생깁니다.아직 읽지 않은 자료가 무엇인지 모름중요한 자료가 아래로 밀려남같은 자료를 다시 저장함Python 관련 자료만 찾기 어려움디자인.. 더보기
[Notion] 웹 클리퍼로 인터넷 자료를 자동으로 수집하고 분류하는 방법 3 ｜유튜브·뉴스·쇼핑몰 자료 저장 예제 3가지 노션 웹 클리퍼를 활용해 레퍼런스 자료 수집 노션 웹 클리퍼를 활용해 유튜브 강의, 뉴스·블로그 글, 쇼핑몰·디자인 레퍼런스를 자료 수집 데이터베이스에 저장하고 카테고리와 태그로 관리하는 방법을 실전 예제 3가지로 설명합니다. 웹 클리퍼를 설치했는 데 어떻게 활용해야 할까요? 앞선 글에서는 노션 웹 클리퍼를 설치하고 웹페이지를 처음 저장하는 방법을 알아봤습니다. 2편에서는 다음 속성을 가진 `📥 자료 수집함` 데이터베이스를 만들었습니다. 속성설명예시카테고리자료의 큰 분류를 지정하는 항목YouTube, News, Shopping, Blog, Documentation태그세부 주제나 키워드를 여러 개 지정하는 항목Notion, AI, Productivity, Web Clipper, Office상태현재 자.. 더보기
[Notion] 노션 웹 클리퍼로 인터넷 자료를 자동으로 수집하고 분류하는 방법 2 ｜태그와 카테고리로 자료를 체계적으로 관리하는 방법 노션 웹 클리퍼로 관리하기 노션 웹 클리퍼로 저장한 자료를 태그, 카테고리, 상태 속성으로 체계적으로 관리하는 데이터베이스 만드는 방법을 2026년 최신 기준으로 단계별로 설명합니다. 저장만 하면 자료는 결국 다시 잃어버립니다 지난 글에서는 "노션 웹 클리퍼를 설치하고 인터넷 자료를 노션에 저장하는 방법"을 알아봤습니다. 하지만 웹페이지를 계속 저장하기만 하면 새로운 문제가 생깁니다. 예를 들어 이렇게 자료가 쌓이면 어떤 일이 생길까요? 자료 유형개수유튜브 영상80개뉴스 기사120개블로그 글60개디자인 레퍼런스200개검색을 해도 원하는 자료가 잘 나오지 않고, 저장한 이유도 기억나지 않게 됩니다. 그래서 웹 클리퍼보다 더 중요한 것이 바로 "데이터베이스 구조"입니다. 자료를 많이 모으는 사람이 아니라, .. 더보기
반응형

티스토리툴바