스파클링코드

팔구삼 프로젝트 - 구름 프로펙트 검색 조회 쿼리 성능 개선 1편노션에 작성된 내용을 티스토리로 옮기다 보니 문단이 깨지거나 코드 블럭이 깨지는 등의 문제가 생기는 것 같다.노션에 바로 접근할 수 있도록 링크를 첨부한다.노션 링크상황: 어떤 문제가 있었나?구름 프로펙트에서 진행하는 우리 프로젝트에서 검색 쿼리의 성능이 너무 느렸다.개발 초기에는 몰랐지만 JOIN 4번에 ORDER BY 정렬에 GROUP BY 집계가 모두 짬뽕이 되어 있어서 데이터가 많아지면 필연적으로 느려질 수밖에 없었다.데이터가 100개 정도로 적었을 때는 문제가 드러나지 않았다.경매 기록 130만 건, 입찰 기록 1200만 건, 좋아요 기록 2000만 건, 더미 사용자 데이터 1000건, 경매 이미지 URL 데이터 400만 건 정도를..

RDS로 데이터 삽입하고 스테이징서버 구축하기상황: 어떤 문제가 있었나?부하테스트를 실제 서버와 같은 스펙에서 진행하기 위해 스테이징 서버와 K6서버 그리고 RDS를 구축해야 했다.그 중 RDS에 어떻게 데이터를 삽입했는지에 대한 소개이다.경매 데이터 130만 건을 csv 파일 기반으로 파싱해서 읽고 파이썬 코드가 1300만 건의 입찰과 2000만 건의 스크랩 데이터를 생성해서 삽입한다.접근: 어떤 기술로 어떻게 해결했나? / 사고 과정 설명하기예전 NCP에서는 앞에 퍼블릭 인스턴스를 두고 SSH 점프호스트를 사용해서 프라이빗에 접근했다.지금은 EIC 엔드포인트가 생성되어 있어서 이것을 활용하면 SCP를 통해 데이터를 전송할 수 있지 않을까? 생각했다.첫 번째 시도, scp를 통해서 csv 파일을 전송하..

저번 주 금요일에 있었던 일이다.돌아오는 월요일, 6/9에 프로펙트 과정 진행상황에 대해 2차 발표가 있다.우리 팀의 프론트 개발 담당자 중 한 분이 취업이 되어 풀스택으로 하던 팀장이 프론트 쪽으로 완전히 전환을 했다.그래서 그 파트에 대한 테스트 코드 작성 및 리팩토링을 내가 맡았다.맡았으면 맡은 바 최선을 다하면 되는데 코드 상태가 좋지 않아 나도 모르게 투덜거렸다.그렇게 23시쯤 교육장 정리를 하고 혼자 나오는데 문득 엘리베이터에서 많은 생각을 하게 되었다.제미니의 개발실무에서 재민님께서 말씀하셨던 내용과 옆 팀의 개발 덕후 동료와 나눴던 대화가 떠올랐다.회사는 개인의 성장을 위해 존재하는 곳이 아니며 개인이 성장할 길은 본인이 생각해야 한다는 것이 전자였다.후자는 통제할 수 없는 내용에 마음쓰지..