모범 음식점 가게 데이터 추가 로직 개선 (#19)

[sungjindev]

⭐️ Issue Number

• 모범 음식점 가게 데이터 추가 로직 개선 #19

🚩 Summary

모범 음식점 관련 가게 데이터를 추가하는 로직이 현재 약 60000개의 데이터 전체를 한번에 조회하도록 구현되어 있는데, 이를 더 잘게 쪼개서 조회할 수 있도록 하는 기능 추가 구현하는 이슈입니다.
추가 로직의 형태는 파라미터로 "조회할 데이터셋 파일명, 사용할 수 있는 보유 크레딧 달러, 조회를 시작할 인덱스 넘버"를 넘겨받고 조회 도중 잔고가 부족해지면 다음으로부터 조회해야하는 인덱스 넘버와 함께 남은 잔고를 리턴하며, 잔고 부족 없이 한 싸이클 모두 조회되었으면 남은 잔고와 -1을 리턴하도록 구현하였습니다.
이 요구사항이 발생한 동기는 API Call 비용이 너무 비싸고 API call을 전부하는데 시간이 너무 오래 걸려서입니다.
그래서, 조회하는 과정에서 추가 과금이 되지 않도록 하기 위해 현재 잔고를 파라미터로 넘긴 뒤 API를 요청하는 과정중 잔고가 바닥나면 어디까지 조회되었는지 리턴 값으로 넘겨받아 다음 조회 때 중복 데이터 없이 조회를 재시작할 수 있도록 하였습니다.

그리고 이와 관련된 테스트 코드를 함께 작성하였습니다.

🛠️ Technical Concerns

테스트 코드 작성 방법

외부 API(Google Map API)에 매우 의존적인 메서드들에 대한 테스트 코드를 작성해야하느라 어떻게 작성해야될지 시작부터 막막했습니다. 사실 마음 같아서는 외부 API를 호출하는 단계적인 시점마자 검증할 수 있는 테스트 코드를 작성하고 싶었는데 �제가 사용하는 API 자체가 텍스트 쿼리 매칭 API라서 구글에서 검색엔진을 통해 결과를 그때그때 반환하기 때문에 제가 보내는 Input text query 대비 결과값을 예측할 수가 없습니다.
그래서 새로운 텍스트 쿼리를 만들어서 Google Map API를 검증할 수는 없었고, 결과적으로 이미 직접 조회해봐서 결과를 알고있는 텍스트 쿼리에 대한 검증을 DB 조회를 통해 진행하였습니다.

📋 To Do

• 이번 이슈에서 작성한 추가 로직을 바탕으로 데이터베이스에 가게 정보를 넣는 작업을 진행할 것입니다.
• 추가적으로, 이제 모범 음식점 이외에 다른 데이터들에 대한 데이터 파싱 작업을 진행할 것입니다.
• 추후에는 대용량 가게 정보를 업데이트할 때 이번에 작성한 로직을 사용하기 보다는 Spring Batch와 비동기 병렬 처리를 활용하여 성능 개선을 진행하여 함께 적용할 계획입니다.

[github-actions]

Test Results

4 tests  +2   4 ✅ +2   5s ⏱️ +5s
3 suites +1   0 💤 ±0 
3 files   +1   0 ❌ ±0 

Results for commit 8ec19e6. ± Comparison against base commit ffd5d9a.

♻️ This comment has been updated with latest results.

[sungjindev]

@jinhoon227
제 로컬 환경에서는 모든 테스트케이스 잘 통과했는데, Github actions에서 돌리는 Gradle test가 깨져버렸네요.
이거 제가 봤을 때 Google Map API 쪽에서 connection error가 터졌으니 아무래도 Github Actions runner가 돌아가는 gradle 환경에 "GOOGLE_API_KEY" 환경 변수값이 안불러와진 것 같습니다!

한번 이따 회의 끝나고 같이 이야기 나눠서 해결해보죠~

[jinhoon227]

수고많으셨습니다! ㅠ 승인합니다.