검색
❯
2026년 3월 15일1 min read
표준으로 쓰이고 있는 토큰화 방법 중 하나.
규칙1. 하이픈으로 구성된 단어는 하나로 유지한다. 규칙2. doesn’t와 같이 아스트로피로 ‘접어’가 함께하는 단어는 분리해준다.