submission https://evalai.readthedocs.io/en/latest/submission.html

REST API 설명 https://gmlwjd9405.github.io/2018/09/21/rest-and-restful.html

evalAI에서 Amazon SQS를 사용했다고 합니다 - 이거를 Queue랑 message 를 통해서 사용하는듯(추측) https://aws.amazon.com/ko/sqs/getting-started/ https://aws.amazon.com/ko/getting-started/hands-on/send-messages-distributed-applications/

evalAI Architecture

evalAI Architecture

submission의 작동방식 - 유저가 submission 하면 API를 이용 → message를 이용해서 queue → submission worker 이런 순서대로 흘러감

submission의 작동방식 - 유저가 submission 하면 API를 이용 → message를 이용해서 queue → submission worker 이런 순서대로 흘러감

scripts/workers/submission_worker.py 집중

submission_task_queue

submission worker

EVALUATION_SCRIPTS - challenge id가 key

Untitled

SQS 큐 → AWS로 connection

connection이 성공 → evalai_submissions + two 큐 - submission_task_queue

submission_task_queue - submission.*.*

challenge message queue - challenge.add.*

⇒ 큐랑 메세지 이런거가 좀 헷갈림.....

  1. Queue → Exchange : 큐가 submission_task_queue 이고, submission.*.* 을 통해서 메세지를 듣고 있음