Jev 생태계 관찰 (7): 스타트업 아이디어부터 페르소나 테스트까지, 콘텐츠 스코어링과 정보 필터링

이전 글에서는 코드 품질 평가를 살펴봤습니다. 이번 글에서는 생태계의 또 다른 주요 시나리오인 콘텐츠 스코어링과 정보 필터링을 다룹니다. 스타트업 아이디어 채점부터 소셜 미디어 게시물의 바이럴 예측, 문장 단위 영상 신뢰도 대시보드, 페르소나 시뮬레이션까지, 이 프로젝트들은 공통된 아키텍처를 공유합니다. Jev가 비정형 콘텐츠에 대한 구조화된 판단을 맡고, 코드가 그 판단을 바탕으로 액션을 실행합니다.

지표를 공개한 프로젝트 5개

killmyidea: Reddit에서 가장 인기를 끈 스타트업 아이디어 채점기

killmyidea(Reddit 추천 209개)는 스타트업 아이디어를 10개 루브릭(각 0~4점)으로 평가하고(Score), 병렬로 채점한 뒤 가중 총점을 계산합니다. 작성자는 이 도구가 "일관된 직감 점검일 뿐, 신탁은 아니다"라고 인정하지만, Reddit 사용자들은 실제로 써 보며 한계를 발견했습니다. 같은 아이디어에서 "오픈소스"라는 표현만 빼도 점수가 크게 달라졌습니다. 이는 버그가 아니라 의사결정 프리미티브가 입력 문구에 민감하다는 사실을 보여 줍니다.

Every 편집부: 문서 37편을 대상으로 한 일회성 Jev 리뷰 실험(판단 1,709건)

Every 편집자 Mike Taylor는 공개된 문서 37편에 대해 일회성 Jev 리뷰 실험을 진행해 판단 1,709건을 얻었고, 총비용은 $0.01 미만이었습니다(작성자 보고). 이는 코퍼스 실험이며 지속적인 프로덕션 연동의 근거는 아닙니다.

SuperX: 61문항 바이럴 모델

SuperX(@robj3d3)는 게시물 초안을 Jev 질문 61개에 통과시켜 약 1초 만에 점수를 내며, 1회 실행 비용은 약 $0.0004입니다. 모델은 크리에이터 207명의 실제 게시물 9,481개로 피팅했으며, 참여 유도용 낚시 게시물은 피하면서 바이럴 게시물을 3번 중 2번 골라낸다고 합니다(작성자 보고). 회원가입 없이 무료로 사용할 수 있습니다.

Crowdcheck: 합성 페르소나 10,000명

Crowdcheck는 짧은 게시물 하나를 두고 영속적인 합성 페르소나 10,000명이 읽기, 좋아요, 동의, 재게시, 팔로우, 차단을 할 확률을 테스트하며, 배치 판단과 그룹 단위 처리를 활용합니다. 의사결정 프리미티브로 집단 반응을 시뮬레이션하는 대표적인 실험입니다.

jevmeter: 영상 속 헛소리를 문장 단위로 잡아내는 대시보드

jevmeter(2026-09-21 스냅샷 기준 76★)는 임의의 영상에 대해 실시간 신뢰도 대시보드를 제공합니다. 문장마다 Score로 점수를 매기고 편집 가능한 16:9 프레임으로 렌더링합니다. X에서 퍼진 "Realtime debate BS meter" 데모를 오픈소스로 구현한 것입니다.

공통 아키텍처: 인식 레이어로서의 Jev

이 프로젝트들은 코드가 워크플로를 관리하고 Jev가 판단을 맡는 공통 아키텍처를 따릅니다:

• killmyidea: 코드가 아이디어 수집 -> Jev가 10개 루브릭으로 채점 -> 코드가 가중 총점 계산
• SuperX: 코드가 초안 전처리 -> Jev가 61개 질문에 답변 -> 코드가 바이럴 예측 집계
• Every: 편집자가 글 제출 -> Jev가 편집 기준에 따라 평가 -> 결과를 작성자에게 전달해 수정

어떤 콘텐츠가 좋은지는 Jev가 정하지 않습니다. 루브릭은 사람이 정의합니다. Jev의 강점은 사람이 정한 기준에 따라 대량의 비정형 콘텐츠를 빠르고 일관되며 저렴하게 평가하는 데 있습니다.

권장 사용 사례

• 권장: 대량 콘텐츠의 1차 필터링(사람이 검토할 만한 게시물 식별), 일관된 기준에 따른 지속적인 채점(브랜드 모니터링과 여론 버킷 분류), A/B 테스트 자동 평가(성과가 더 좋은 버전 식별).
• 비권장: 깊은 맥락 이해가 필요한 콘텐츠 모더레이션(풍자, 문화적 민감성), 최종 게시 결정(Jev는 참고 자료일 뿐 편집자가 아닙니다).
• 한계 인식: killmyidea가 프롬프트 문구에 민감했던 사례는 입력이 조금만 달라져도 출력이 크게 바뀔 수 있음을 보여 줍니다. 프로덕션에서 사용하려면 입력 형식을 고정하고 민감도 테스트를 해야 합니다.

EveryInfra 연동

콘텐츠 스코어링의 입력은 평가할 게시물, 댓글, 리뷰, 상품 설명입니다. 이런 자료를 먼저 일괄 수집해야 한다면 EveryInfra가 구조화된 입력을 제공합니다. 통합 데이터 API 연동 가이드부터 시작하세요.