TL;DR
- Groq 사용법의 출발점은 하나다. OpenAI 호환 API라 기존 코드의 주소와 키만 바꾸면 붙는다.
- 이 회사가 파는 건 모델이 아니라 속도다. LPU라는 전용 칩을 만들어 추론만 전담한다.
- 텍스트 생성 말고도 음성 인식과 합성, OCR, 콘텐츠 검열, 구조화 출력, 도구 호출이 같은 API에 들어 있다.
Groq 사용법을 알아보는 이유는 대개 응답 속도다.
챗봇을 만들었는데 첫 글자가 나오기까지 몇 초씩 걸리거나, 에이전트가 도구를 여러 번 부르느라 전체 응답이 늘어지는 경우다.
Groq는 그 지점만 파고든 회사다.
공식 홈의 표현을 빌리면 “학습은 가능성을 만들고 추론은 가치를 만든다”는 입장이고, 추론이 병목이 되고 있다는 진단에서 출발한다.
LPU라는 전용 칩을 만들었고, 최근에는 LPX가 엔비디아의 차세대 GPU와 함께 동작하는 구성을 내놨다.
아래는 계정을 만들어 첫 호출을 보내고, 어떤 기능이 같은 API에 들어 있는지 파악하고, 운영에 올릴 때 확인할 것을 공식 문서 기준으로 정리한 것이다.
OpenAI 호환이라는 게 왜 중요한가
문서 첫머리가 “빠른 LLM 추론, OpenAI 호환”으로 시작한다.
이 한 줄이 도입 비용을 정한다.
이미 OpenAI SDK로 짜둔 코드가 있다면 기본 주소와 API 키, 모델 이름만 바꾸면 그대로 돈다.
라이브러리를 갈아 끼우거나 요청 형식을 다시 맞출 필요가 없다.
이 구조 덕에 비교도 쉬워진다.
같은 코드로 제공사를 바꿔가며 응답 속도와 품질, 비용을 재볼 수 있다.
도입 판단을 감이 아니라 실측으로 하게 된다.
Groq 사용법, 첫 호출까지의 순서
- 콘솔에서 계정을 만듭니다.
- API 키를 발급받습니다.
- 모델 목록에서 쓸 모델을 고릅니다. 문서에 지원 모델이 정리돼 있습니다.
- 기존 OpenAI 호환 코드가 있으면 기본 주소와 키, 모델 이름을 바꿉니다.
- 없으면 문서의 빠른 시작 예제를 그대로 실행해봅니다.
- 응답 시간을 재봅니다. 이 서비스를 쓰는 이유가 여기 있으니 숫자로 확인합니다.
- 지출 한도를 설정합니다. 콘솔에 별도 항목이 있습니다.
7번을 먼저 하는 습관을 권한다.
종량 과금 구조에서 상한 없이 시작하면 반복 호출 버그 하나가 청구서로 돌아온다.
콘솔에 지출 한도와 프로젝트, 모델 권한을 나누는 항목이 각각 준비돼 있으니 키를 발급하는 시점에 함께 잡는 게 낫다.
텍스트 말고 들어 있는 것들
문서의 핵심 기능 목록을 보면 이 API가 다루는 범위가 넓다.
- 음성 인식과 합성: 오디오를 텍스트로, 텍스트를 음성으로. 전용 음성 모델이 따로 있다.
- OCR과 이미지 인식: 이미지에서 글자를 읽고 내용을 파악한다.
- 추론: 사고 과정을 내는 모델을 다룬다.
- 콘텐츠 검열: 입력과 출력을 걸러낸다. 사용자 입력을 받는 서비스라면 필요한 층이다.
- 구조화 출력: 정해진 형식으로 응답을 받는다. 결과를 코드에서 파싱해야 할 때 쓴다.
- 프롬프트 캐싱: 같은 맥락을 반복 전송할 때 비용과 지연을 줄인다.
여러 제공사를 붙여야 했던 기능들이 한곳에 있다는 점이 실무에서 값이 된다.
음성 인식만 다른 곳에 붙이면 키와 청구가 하나 더 늘어난다.
도구 호출과 내장 도구
에이전트를 만든다면 이 부분을 본다.
도구 호출을 지원하는 것에 더해 내장 도구가 준비돼 있다.
웹 검색, 웹사이트 방문, 코드 실행, 수식 계산 같은 도구를 직접 만들지 않고 쓸 수 있다.
각각을 구현하려면 검색 API를 계약하고 샌드박스를 띄워야 하는데 그 단계가 빠진다.
원격 도구와 MCP 커넥터도 지원한다.
이미 MCP로 만들어둔 도구가 있으면 그대로 연결된다.
로컬 도구 호출은 별도 항목으로 문서화돼 있다.
에이전트 성격의 제품도 따로 있다.
내장 도구를 묶어 스스로 절차를 정하는 구성이고, 문서에 개요와 사용 사례가 정리돼 있다.
코딩 도구에 붙이기
문서에 “Groq로 코딩하기” 절이 따로 있고, 연결되는 도구 목록이 나열돼 있다.
Factory Droid, OpenCode, Kilo Code, Roo Code, Cline 같은 것들이다.
여기서 얻는 건 속도다.
코딩 에이전트는 도구를 여러 번 부르며 왕복하는 구조라, 한 번의 응답이 빨라지면 전체 작업 시간이 눈에 띄게 줄어든다.
모델의 지능이 같아도 체감이 달라지는 구간이다.
운영에 올릴 때 확인할 것
문서에 “프로덕션 준비”라는 절이 따로 있다는 점이 이 서비스의 성격을 보여준다.
서비스 계층이 셋으로 나뉜다.
성능 계층, 유연 처리, 배치 처리.
실시간 응답이 필요한 요청과 밤에 몰아 돌려도 되는 작업을 다르게 다루라는 뜻이다.
배치로 넘길 수 있는 작업을 실시간 경로로 보내면 비용과 한도가 낭비된다.
지연 최적화 문서가 따로 있다.
응답 속도를 사는 서비스이니 그걸 실제로 얻는 방법이 정리돼 있는 셈이다.
관측도 준비돼 있다.
프로메테우스 지표를 내보내므로 기존 모니터링에 붙일 수 있다.
보안 온보딩과 프로덕션 체크리스트가 별도 문서로 있어서, 회사에서 도입할 때 검토 항목을 여기서 뽑아 쓸 수 있다.
한계와 안 맞는 경우
- 최신 폐쇄형 모델이 필요한 경우. 오픈 모델 중심이라 특정 모델을 지정해야 하는 작업에는 맞지 않는다.
- 속도가 중요하지 않은 작업. 배치로 밤에 돌려도 되는 일이라면 이 서비스의 강점이 값을 못 한다.
- 모델 선택을 맡기고 싶은 경우. 어떤 모델을 쓸지 직접 정해야 한다.
- 데이터를 국내에 둬야 하는 경우. 리전 조건을 먼저 확인해야 한다.
제품 만들 때 가져갈 설계
첫째는 문제를 하나로 좁힌 점이다.
모델을 만들지 않고 추론만 한다.
그 대신 그 한 가지를 위해 칩까지 새로 만들었다.
남들이 하는 걸 다 하려다 아무것도 특별하지 않게 되는 것과 반대 방향이다.
둘째는 남의 인터페이스를 그대로 쓴 결정이다.
자기만의 API 규격을 만들 수도 있었지만 널리 쓰이는 형식을 따랐다.
전환 비용을 없애면 비교 대상이 되는 자리에 설 수 있다.
셋째는 서비스 계층을 나눈 방식이다.
모든 요청을 같은 속도로 처리하면 급한 요청과 급하지 않은 요청이 같은 자원을 두고 다툰다.
계층을 나누면 사용자는 싸게 쓰고 제공자는 자원을 고르게 쓴다.
실행 체크리스트
- 콘솔에서 계정을 만들고 API 키를 발급받습니다.
- 지출 한도를 먼저 설정합니다.
- 기존 OpenAI 호환 코드가 있으면 주소와 키, 모델 이름만 바꿔 붙입니다.
- 응답 시간을 실제로 재서 도입 근거를 확인합니다.
- 필요한 기능이 같은 API에 있는지 봅니다. 음성과 OCR, 검열이 여기 있습니다.
- 사용자 입력을 받는 서비스라면 콘텐츠 검열 층을 넣습니다.
- 응답을 코드에서 파싱한다면 구조화 출력을 씁니다.
- 급하지 않은 작업은 배치 처리 계층으로 보냅니다.
- 운영에 올리기 전 프로덕션 체크리스트와 지연 최적화 문서를 훑습니다.
자주 묻는 질문
Groq는 기존 코드에 바로 붙나요
OpenAI 호환 API를 제공하므로 대부분의 경우 기본 주소와 API 키, 모델 이름 문자열만 바꾸면 동작합니다.
텍스트 생성 말고 무엇을 할 수 있나요
음성 인식과 합성, OCR과 이미지 인식, 추론, 콘텐츠 검열, 구조화 출력, 프롬프트 캐싱이 같은 API에 들어 있습니다.
에이전트를 만들 때 도구를 직접 구현해야 하나요
웹 검색, 웹사이트 방문, 코드 실행, 수식 계산 같은 내장 도구가 제공됩니다.
원격 도구와 MCP 커넥터, 로컬 도구 호출도 지원합니다.
비용이 예상보다 많이 나올 수 있나요
종량 과금이라 호출량에 비례합니다.
콘솔에 지출 한도와 프로젝트, 모델 권한 항목이 있으니 키를 발급할 때 함께 설정하는 것이 안전합니다.
