반응형 Coding38 대용량 데이터 삭제 • 옮기기 | 테이블 복제, 키변경, ALTER, RENAME 1천만 건의 데이터가 등록되어있는 테이블에PK설정이 잘못되어있는걸 발견하였습니다. PK 중복에 따라 데이터가 입력되는 프로시저가 있어PK를 필수로 맞춰줘야 했는데요. 기존에 있는 데이터가 너무 많다보니DELETE도 , ALTER도 timeout이 걸려서 결국 테이블을 복제하여 비우는 방법으로 진행하였습니다. -- 1. 기존 테이블 복제 (구조만)CREATE TABLE IOT_DEVICE_STATUS_NEW LIKE IOT_DEVICE_STATUS;-- 2. (선택) 기존 PK 제거, 새 PK 추가 : 이 부분은 PK 변경을 위한 ALTER 문입니다.ALTER TABLE IOT_DEVICE_STATUS_NEWDROP PRIMARY KEY,ADD PRIMARY KEY (`ID`, `STAT_DATE`,`D.. 2025. 4. 8. 데이터비교툴 개발하기 | 엑셀로 서로다른 DB의 데이터 비교 테스트 검증기간중운영-검증서버 간의 결과데이터를 비교해야하는 과제가 생겼습니다.운영-검증간의 DB 구조는 동일하지만데이터가 몇만건이 되다보니 하나하나 비교해가며잘못된 데이터를 찾기에는 무리여서 DB연결, 조회쿼리만 짜놓으면양쪽의 테이블 데이터를 자동으로 비교해주는 툴을 만들어보았습니다. 📌 다중 DB 연결먼저 프로젝트 설정파일에 다중 DB를 연결할 수 있도록 DB관련 코드들부터 작성해줬습니다. ✔️ Config👩💻 application.ymlserver: port: 8080spring: application: name: monitoring-tables config: activate: on-profile: local datasource: schema: solar.. 2025. 4. 1. OOM 분석 | heap dump 파일분석 - VisualVM, Eclipse MAT heap이 증가하면서 hang이 발생한 상황에서 log만으로 분석이 어려운 상황일 때heap dump 파일을 생성하여 메모리누수 원인을 파악해보겠습니다.📌1. 메모리 누수 발생grafana, visualVM으로 분석도중 GC가 메모리를 정리하지 못하고heap 메모리가 과도하게 늘어나는것을 발견했습니다.물론 이러다가 설정한 GC Config의 max 수치를 넘어가면 프로세스에서hang이 발생하면서 멈춰버립니다.📌2. visualVM 프로그램 - Heap Dump 파일생성visualVM 프로그램에서 Heap Dump 파일을 띄워봅니다. Monitor 탭에서 'Heap Dump' 버튼을 클릭하면분석파일이 프로세스가 실행되고 있는 서버의 /tmp 하위에 저장됩니다.주의할 점은 프로세스가 종료되면 visua.. 2025. 4. 1. VisualVM | 리눅스서버에 올린 프로세스에 붙어 모니터링하기 VisualVM 이란❓VisualVM은 Java 애플리케이션의 성능 모니터링을 위한 도구입니다.실행 중인 Java 프로세스의 CPU, 메모리 사용량, GC 동작, 스레드 상태 등을 실시간으로 확인할 수 있고,원격 JMX 연결을 통해 리눅스 서버에서 실행 중인 Java 애플리케이션에도 연결하여 실시간 모니터링 할 수 있습니다.• CPU 사용량, 메모리 사용량 확인• GC(Garbage Collection) 상태 확인• Thread 상태 추적• Heap Dump 분석• Deadlock 탐지 📎Application Tabs 설명각 탭에 우클릭을 통해 모니터링 파일을 추가하고, 연결할 수 있습니다. 📌 Local - 내 PC에서 실행 중인 Java 애플리케이션 목록입니다.📌 Remote - .. 2025. 3. 20. [DBeaver] 데이터 마이그레이션 | 다중 데이터베이스간 데이터 옮기기 📎📌 DB 대상 연결각 데이터베이스를 DBeaver에 연결합니다. dev 개발디비와, stg 운영디비를 기준으로 설명하겠습니다. 📎 조회쿼리 실행복사할 대상(stg) DB에 접속해서 조회문을 작성합니다. default로 부여되는 컬럼을 제외하고, 복사될 데이터의 컬럼만 모두 작성합니다. ex) PK인 ID 컬럼이 default로 부여되고 있는 경우, 대상 DB에 이미 존재하는 데이터의 PK와 중복될 수 있으므로, ID 컬럼은 제외하고 조회합니다. 📎 조회결과 우클릭 - 데이터 추출 📎 데이터 복사 성공대상 Database에 가서 확인해보면, ID/CREATE_TIME, UPDATE_TIME은 자동으로 DEFAULT 값으로 채워졌고조회한 컬럼만 복사되어 INSERT INTO와 같이 다중 데이터.. 2025. 3. 19. 로컬에서 리눅스 서버로 파일 옮기기 | SCP • SFTP 로컬에서 개발한 프로젝트를,git으로 개발서버에 옮겨 테스트하는 것까지 완료하였습니다.운영서버로 올리기전, 운영서버의 트래픽을 동일하게 받지만-운영서버는 아닌 검증서버에서최종 테스트를 진행한 후 운영으로 최종 commit할 예정인데요. 개발서버, 운영서버와 달리 검증서버는 git 파이프라인이 만들어져있어서수작업으로 파일을 리눅스서버로 옮기게 되었습니다. 이전에 비슷한 작업을 진행할 때 Filezila라는 sftp 전송 프로그램으로 파일을 옮겼었는데요비슷한 프로그램으로 최근에 사용하고있는 WinSCP 프로그램을 활용해서 옮겨보려 했으나..(이렇게 GUI가 있는 프로그램이라, 마우스로 끌어 간편하게 서버로 옮길 수 있음) 검증서버가 GATEWAY 서버안에 연결되어 있어서, 바로 검증서버로 접근하지 못하고G.. 2025. 3. 19. 이전 1 2 3 4 ··· 7 다음 728x90 반응형
