자동화 결과를 표본만 보고 점검하는 방법, 4단계

자동화는 걸어 뒀습니다. 그런데 결과물이 쌓이면 매번 전부 열어 확인하고 있습니다. 확인하는 시간이 손으로 하던 시간과 비슷합니다.

이건 도구가 부족해서가 아니라 「몇 건을 어떤 기준으로 볼지」를 정해 둔 적이 없어서입니다. 전수로 보거나 아예 안 보거나, 둘 중 하나만 반복됩니다. 이 글은 클로드로 작업별 표본 건수와 점검 주기를 정한 「표본 점검표」를 만드는 4단계를 그대로 따라 하게 정리했습니다.

한눈에 보는 방법

· STEP 1. 자동으로 돌리는 작업 목록 적기 — 10분 · STEP 2. 되돌리기 여부와 손해 크기 점수 매기기 — 10분 · STEP 3. 작업별 불량 판정 기준 문장 만들기 — 10분 · STEP 4. 표본 건수와 점검 주기 확정하기 — 10분

총 40분. 끝나면 작업마다 「매주 몇 건을 무슨 기준으로 본다」가 적힌 표본 점검표가 손에 남습니다.

이럴 때 쓰세요

· 자동 생성된 상세페이지 문구 50건을 매번 처음부터 끝까지 읽고 있습니다. · 예약 확인 메일이 잘못 나간 걸 고객 연락을 받고서야 알았습니다. · 자동화를 늘릴수록 확인 시간이 같이 늘어 손으로 하는 게 낫다고 느낍니다. · 어떤 작업은 안 봐도 되는지, 어떤 작업은 매일 봐야 하는지 구분이 안 됩니다.

시작 전 준비물

· 클로드를 켜 둡니다. · 자동으로 돌리는 작업 이름과 월 처리 건수를 적어 둡니다. 건수는 지난달 발송 기록이나 생성 파일 개수를 세면 됩니다. · 첨부된 표본 점검표 (xlsx)를 내려받아 엽니다.

STEP 1. 자동으로 돌리는 작업 목록 적기: 10분

이 단계에서는 점검 대상이 되는 작업을 빠짐없이 꺼냅니다.

1. 클로드에 「프롬프트 1」을 붙여넣습니다.
2. 아래 빈칸에 자동으로 돌리는 작업을 한 줄씩 적습니다. 예: 「문의 자동 답변 메일, 월 400건」.
3. 클로드가 작업을 3~8개로 정리해 돌려주면 그대로 복사해 둡니다.

이렇게 말고: 「블로그 자동화」처럼 뭉뚱그려 한 줄로 적습니다. 이렇게: 「초안 생성」과 「발행」을 따로 적습니다. 결과물이 나가는 지점이 다르면 다른 작업입니다.

성공 기준: 작업 이름과 월 처리 건수가 적힌 목록이 3개 이상 나왔으면 다음 단계로 넘어갑니다.

STEP 2. 되돌리기 여부와 손해 크기 점수 매기기: 10분

이 단계에서는 작업마다 위험을 숫자로 바꿉니다.

1. STEP 1의 목록을 클로드에 붙여넣고 「프롬프트 2」를 이어서 붙여넣습니다.
2. 클로드가 작업마다 되돌리기 가능 여부(가능/불가)와 손해 크기를 1~5점으로 매겨 줍니다.
3. 답을 보고 내 상황과 다른 항목은 직접 고쳐 적습니다.
4. 표본 점검표에 옮길 때는 「2. 작업별 입력과 판정」의 되돌리기 가능 칸에 가능이면 1, 불가면 0을 적습니다. 「가능」·「불가」라는 글자로 적으면 계산이 되지 않습니다. 손해 크기 칸에는 1~5 사이의 숫자를 적습니다.

되돌리기 가능: 틀린 결과물을 고객이 보기 전에 지우거나 다시 보낼 수 있다는 뜻입니다.

이렇게 말고: 「실수하면 큰일 난다」는 느낌으로 전부 5점을 줍니다. 이렇게: 환불·사과·재발송 중 무엇이 필요한지로 나눕니다. 재발송으로 끝나면 2점, 환불까지 가면 5점입니다.

성공 기준: 작업마다 되돌리기 가능 여부와 1~5점 손해 크기가 하나씩 적혔으면 다음 단계로 넘어갑니다.

STEP 3. 작업별 불량 판정 기준 문장 만들기: 10분

이 단계에서는 「무엇이 보이면 불량인가」를 문장으로 고정합니다.

1. 클로드에 「프롬프트 3」을 붙여넣고 작업 1개와 실제 결과물 2건을 함께 붙여넣습니다.
2. 클로드가 그 작업의 불량 판정 기준을 3줄로 만들어 줍니다. 예: 「고객 이름 칸이 비어 있다」.
3. 작업 수만큼 반복해 기준 문장을 모읍니다.

이렇게 말고: 「품질이 괜찮은지 본다」처럼 적습니다. 볼 때마다 판정이 달라집니다. 이렇게: 「숫자가 원본과 다르면 불량」처럼 보자마자 예/아니오로 답할 수 있게 적습니다.

성공 기준: 작업 1개당 예/아니오로 답할 수 있는 기준 문장이 3줄씩 적혔으면 다음 단계로 넘어갑니다.

STEP 4. 표본 건수와 점검 주기 확정하기: 10분

이 단계에서는 숫자를 템플릿에 옮겨 결론을 받습니다.

1. 표본 점검표 (xlsx)를 열고 「1. 공통 설정」의 4칸을 먼저 채웁니다. 이 4칸이 비어 있으면 표본 건수가 계산되지 않습니다. 권장 입력값은 기본 표본 비율 0.1, 되돌리기 불가 배수 2, 표본 축소 기준 횟수 4, 표본 방식 최소 건수 30입니다.
2. 「2. 작업별 입력과 판정」의 작업 열마다 월 처리 건수(지난달 발송·생성 개수), 되돌리기 가능(가능 1, 불가 0), 손해 크기(1~5점), 불량 판정 기준 줄 수(STEP 3에서 나온 기준 문장 개수), 연속 통과 횟수를 적습니다. 연속 통과 횟수는 아직 점검 전이면 0으로 둡니다.
3. 「3. 결론: 첫 작업 기준 표본과 주기」의 대상 작업 번호 칸에 먼저 볼 작업의 열 순서(1~4)를 적습니다.
4. 같은 블록의 매주 볼 표본 건수와 점검 주기에 결과가 나옵니다. 다음 행동 한 줄도 함께 확인합니다.
5. 대상 작업 번호를 1부터 차례로 바꿔 가며 작업 수만큼 반복하고, 작업마다 나온 표본 건수와 점검 주기를 따로 적어 둡니다. 결론 블록은 한 번에 한 작업씩만 계산합니다.
6. 한 주 점검을 마칠 때마다 「2. 작업별 입력과 판정」의 연속 통과 횟수를 1씩 올려 적습니다. 축소 적용 여부와 다음 행동 한 줄에 표본을 줄여도 되는 시점이 표시됩니다.

성공 기준: 대상 작업 번호를 바꿔 가며 작업 수만큼 돌려, 작업마다 「매주 몇 건, 몇 주 간격」을 숫자로 적어 두었으면 끝입니다.

안 될 때 이렇게 하세요

표본 건수가 너무 많게 나오면: 손해 크기 점수를 다시 봅니다. 재발송으로 수습되는 작업에 4~5점을 준 경우가 대부분입니다. 월 처리 건수가 표본 방식 최소 건수보다 적으면: 표본 방식 적용 여부에 「전수 점검」이 뜨고, 매주 볼 표본 건수가 주간 기준 건수 전부로 나옵니다. 건수가 적으면 전수로 보는 편이 빠릅니다. 건수가 늘어난 뒤 다시 적용하세요. 고객에게 바로 나가는 작업의 표본을 줄이면: 연속 통과 횟수가 쌓여도 0건까지 내리지 마세요. 되돌릴 수 없는 작업은 최소 1건을 남깁니다. 한 번의 오발송은 기록을 지워도 수습되지 않습니다.

받는 파일 (ZIP 1개, 3종)

· 본문 PDF — 4단계 전체와 잘못된 예·맞는 예 비교 · 표본 검수 기준 설계 프롬프트 (.txt) — 작업 목록 정리, 위험 점수화, 불량 판정 기준 작성용 프롬프트 3개 · 표본 점검표 (xlsx) — 월 처리 건수·되돌리기 가능 여부·손해 크기를 넣으면 표본 건수와 점검 주기가 계산되는 표

이 구조는 엑스점프가 AI로 창업·부업을 시작하는 1인 사업자들과 실제로 쓰면서 정리한 것입니다.