Today I Learned
날짜
2024년 1월 24일 수요일
내용
하루종일 아무것도 해낸 게 없다. 다행히 오늘은 딱히 프론트쪽에 심어둔 폭탄이 없어서 급하게 바꾸거나 할 부분은 없었다. 지금 스프린트에서, 리뷰들을 수집해오면 기존에 존재하는 테이블에 리뷰 수집 기록을 남기고, 이 테이블의 자식 테이블 격인 분석 기록 테이블에 레코드를 추가한다. 그리고 리뷰를 분석하여 결과 테이블에 결과를 기록한다.
상품에 대한 정보 중 일부(제목, 판매량 등)이 DB에 저장되지 않는 문제가 발생했으나 해결하지 못하고 있다. 상황이 참 꼬여있는게, 로컬에서는 받아오는데 전혀 문제가 없고 로컬에서 테스트 서버의 데이터베이스에 연결해서 테스트서버를 구동해봐도 DB에 정보를 잘 저장한다. 하지만 테스트서버에서 API를 테스트 했을때만 일부 정보를 찾지 못한다. 따라서 해결을 위한 테스트는 모두 테스트 서버에서 이뤄져야 하는데 나는 아직 코드싸개라 권한이 없다보니 참 힘들다.
현재 추정은 상품 정보를 크롤링해오는 beautifulsoup가 테스트 서버에선 특정 정보들을 찾지 못하는 것으로 파악됐다. 테스트 서버의 로그를 통해 알게 된 것. 테스트서버는 ECS에서 구동되는데, 거기서 요청을 보낼떄와 user(나와 같은 개인 종단시스템)이 보낼 때 가지는 메타데이터가 다를 수 있다고 한다. 그래서 user-agent도 설정해봤지만 잘 되지 않는다. 아예 접근조차 못하는 것도 아니고 리뷰나 평점 같은 데이터는 잘 받아오는데 딱 상품명, 이미지 링크, 판매량 3개만 못가져온다. 도대체 뭔 경우야 이건..
하루 종일 고민해도 어떻게 해결해야할지 답도 안나오니 참 갑갑하다. 하지만 난 답을 찾을 것이다. 늘 그랬듯
회고
근데 상품 정보 가져오는 API는 따로 없나?
