AI 모델 파라미터 수란? 7B·70B와 토큰 수가 다른 이유

AI 모델의 7B·70B는 파라미터 수를 뜻해요. 

---

ChatGPT 생성 이미지

 

---

AI 모델 이름에 붙은 7B와 70B, 입력 가능한 토큰 수를 뜻하는 걸까요?

7B와 70B는 토큰 수가 아니라 모델의 파라미터 수를 나타내는 표기예요.

파라미터 수를 기억할 수 있는 문장 수로 해석해도 서로 다른 개념을 섞게 돼요.

이 글에서는 파라미터, 토큰, 컨텍스트를 구분하고 모델 설명의 숫자가 각각 어떤 질문에 답하는지 알아볼게요.

 

이 글에서 배울 내용은 '파라미터의 역할과 B 표기', '토큰과 컨텍스트의 차이', '모델 크기와 성능의 관계', '토큰화 결과로 모델 크기의 효과를 검증할 수 없는 이유.'를 알아보겠습니다.

 

모델 크기와 입력 길이를 읽는 다섯 가지 개념

 

파라미터는 학습 과정에서 조정되는 수치예요

 

모델은 입력을 계산할 때 많은 수치를 사용해요. 학습에서는 목표에 맞는 출력을 만들도록 이런 수치들을 조정해요. 파라미터를 사람이 작성한 규칙 목록이나 사실 문장 목록과 일대일로 대응시키기는 어려워요. 비유하자면 수많은 조절값이 함께 결과에 영향을 주는 장치에 가깝고, 특정 수치 하나가 특정 지식 하나를 뜻하지는 않아요.

 

B는 보통 십억 단위의 개수를 나타내요

 

파라미터 표기에서 7B는 대략 70억, 70B는 대략 700억 규모를 뜻하는 방식으로 쓰여요. 그러나 이것만으로 저장 파일의 크기나 실행에 필요한 메모리를 정확히 알 수는 없어요. 수치를 어떤 정밀도로 저장하는지, 실행 중 어떤 추가 공간이 필요한지도 영향을 줘요. 일부 구조에서는 전체 파라미터와 한 번의 계산에 활성화되는 파라미터를 구분하므로 모델 설명의 조건을 읽어야 해요.

 

큰 모델이 모든 작업에서 무조건 우수한 것은 아니에요

 

규모는 모델 능력에 영향을 주는 요소지만 유일한 요소는 아니에요. 학습 데이터, 구조, 학습 방법, 작업에 맞춘 조정과 평가 조건도 결과를 바꿔요. 간단한 형식 변환에서는 작은 모델도 필요한 품질을 만족할 수 있어요. 따라서 파라미터 수를 비교한 뒤에는 실제 작업의 오류와 처리 자원을 측정하는 단계가 필요해요.

 

토큰화 차이는 파라미터 수의 효과를 보여주지 않아요

 

토크나이저는 입력을 조각과 ID로 바꾸는 역할을 해요. 모델의 파라미터 수가 달라도 같은 토크나이저를 사용할 수 있어요. 반대로 토큰 수가 다르다고 모델이 더 크거나 더 정확하다는 뜻은 아니에요. 앞 글의 계산기는 입력 표현을 관찰하는 도구이지 모델 규모의 효과를 검증하는 벤치마크가 아니에요.

 

컨텍스트 범위는 한 번에 다룰 수 있는 토큰의 한도예요

 

컨텍스트 범위는 모델이 한 번의 요청에서 함께 참고하며 처리할 수 있는 입력과 생성 내용의 토큰 한도를 가리켜요. 책상 위에 동시에 펼쳐 둘 수 있는 자료의 양을 생각하면 이해하기 쉬워요. 같은 문장을 같은 토크나이저로 나누면 토큰 수는 같아도, 두 모델이 허용하는 컨텍스트 범위는 다를 수 있어요. 따라서 7B나 70B라는 파라미터 표기만 보고 컨텍스트 한도를 추정하지 말고 모델의 공식 사양을 확인해야 해요.

 

모델 설명의 숫자를 올바른 질문에 연결하기

 

아래는 특정 제품의 사양이 아닌 학습용 가상 카드예요.

모델 A는 7B, 모델 B는 70B로 표시돼 있고 둘 다 같은 토크나이저를 사용한다고 가정해요.

응답 정확도와 속도는 아직 측정하지 않았어요.

① 메모 문서에 ‘파라미터 수 / 입력 토큰 수 / 컨텍스트 범위 / 정확도 / 실행 자원’ 다섯 항목을 적어요.

② 7B와 70B를 파라미터 수 칸에 넣어요. 입력 토큰 수나 컨텍스트 칸에 복사하지 않아요.

③ 두 모델이 같은 토크나이저에 같은 문자열을 넣는다고 가정해요. 토큰화 규칙이 같다면 모델 크기만으로 토큰 수가 달라진다고

예상할 근거가 없다는 점을 적어요.

④ “B의 파라미터가 열 배이므로 정확도도 열 배”라는 잘못된 문장을 고쳐요. 정확도는 동일한 평가 입력과 정답 기준으로 별도 측정해야 한다고 바꿀 수 있어요.

⑤ 실행 자원 칸에는 ‘정밀도, 구조, 실행 길이, 장치 조건 추가 확인’이라고 적어요. 파라미터 수만으로 특정 컴퓨터에서 돌아간다고 확정하지 않아요.

⑥ 각 숫자가 어떤 질문에 답하는지 다시 읽어요. ‘입력이 몇 조각인가’는 토큰 수, ‘한 번에 몇 토큰까지 다룰 수 있는가’는 컨텍스트 범위, ‘학습된 수치가 얼마나 많은가’는 파라미터 수에 대응해요.

 

알고 싶은 것	필요한 정보
문장이 몇 토큰인가	문자열과 토크나이저
학습된 수치 규모는 얼마인가	파라미터 표기와 구조 설명
한 번에 몇 토큰까지 다룰 수 있는가	모델의 공식 컨텍스트 범위와 실행 설정
내 작업에서 얼마나 정확한가	동일 조건의 평가 결과
내 장치에서 실행 가능한가	메모리·정밀도·실행 설정과 실제 확인

 

이 표의 빈칸은 지식 부족의 표시가 아니라 다음에 확인할 항목이에요.

숫자를 다른 칸으로 옮겨 빈칸을 채우면 그럴듯하지만 틀린 설명이 돼요. 모델 선택에서도 확인한 값과 아직 모르는 값을 나누어 기록하는 습관이 유용해요.

 

---

• 파라미터 수는 모델이 외운 사실 개수인가요?
  • 사실 개수와 일대일로 대응하지 않아요. 많은 수치가 함께 입력과 출력의 관계를 계산해요.
  • 특정 파라미터 하나에 특정 사실 하나가 들어 있다고 보기 어려워요.
  • 그래서 파라미터가 늘어난 만큼 정확한 사실이 늘어난다고 계산할 수는 없어요.
  • 지식 관련 성능도 과제와 근거를 정해 평가해야 해요.
• 7B 모델은 언제나 70B 모델보다 메모리를 적게 쓰나요?
  • 다른 조건이 같다면 파라미터 규모가 중요한 영향을 줘요. 하지만 저장 정밀도와 실행 설정도 함께 봐야 해요.
  • 실행 중 추가되는 메모리 사용량 역시 있어요. 서로 다른 환경의 수치를 규모 하나로 비교하면 오해할 수 있어요.
  • 실제 배포에서는 장치와 설정을 고정한 측정이 필요해요.
• 토큰 계산기로 모델 성능을 비교할 수 있나요?
  • 토큰 계산기는 선택한 인코딩의 분할 결과를 보여줘요. 문제 해결 정확도나 답변 품질을 직접 측정하지는 않아요.
  • 입력 길이를 관리하는 데는 유용해요. 모델 품질 비교에는 별도의 질문, 정답 기준, 반복 측정이 필요해요.
  • 두 도구의 목적을 구분해 사용하세요.

---

 

정리하자면 모델의 숫자는 단위를 함께 읽으세요 파라미터 수와 토큰 수와 컨텍스트는 다른 정보예요.

크기만으로 정확도와 실행 가능성을 확정할 수는 없어요.

토큰화 비교는 모델 규모의 효과를 검증하는 실험이 아니에요.