CSV 데이터를 JSON 데이터로
데이터프레임을 JSON 형식으로 변경하기 오늘은 데이터프레임의 형태를 어떻게 JSON으로 잘 변환할 수 있는지 알아볼 것입니다. 무슨 작업을 하고 싶으냐… 위와 같이 표를 만들었다고 가정할까요? 저는 이런 데이터프레임을 JSON 데이터로 관리하고자 합니다. [ { “Category”: “주연”, “items”: [ {“직업”: “학생”, “이름”: “모모”, “능력”: “염력”}, {“직업”: “학생”, “이름”: “오카룡”, “능력”: “변신”} ] }, { “Category”: “조연”, “items”: […]
파이썬 글자를 시간 타입으로 변경하자
파이썬 글자 타입을 시간 타입으로 전환하기 현재 진행하고 있는 과제 중에서 해결해야 할 문제가 있습니다. DataFrame1 ~ 4 까지 있다고 할까요? 이 모든 데이터프레임이 다 시계열 데이터입니다. 이 시계열 데이터들을 하나로 합본하고 싶은데… DataFrame1 이 끊기고 한 10초? 정도 있다가 다시 DataFrame2가 기록되고, 또 6초? 정도 있다가 다시 DataFrame3가 기록된 것이더군요. 이렇게 되면 합본하기 좀 […]
DCM 파일을 PNG로 바꾸기
DCM 파일을 PNG 파일로 변경하기 의료 이미지를 학습하기 위해서는 DCM 파일을 다룰 줄 알아야 합니다. DCM 파일 자체를 곧장 학습에 이용하는 것은 썩 효율적이지 못합니다. DCM 파일은 단순 픽셀만이 아니라 병원에서 이용하는 다양한 정보들을 담고 있기 때문입니다. 픽셀값만을 따로 추출해서, PNG 형식 등으로 이미지를 관리하는 것이 좋습니다. 이를 위해서 어떻게 파이썬에서 DCM 파일을 PNG 파일로 […]
파이썬으로 파일 복사해서 저장하기
Posinting 제목 Component… 파이썬으로 파일 복사 및 저장하기 파이썬으로 어떤 방법을 이용하여 파일을 복사하고 저장하는 것이 가능할지 알아보겠습니다. 우선 저는 지금 다음과 같은 문제를 해결하려 합니다. 1. 특정 폴더 내부에 있는 어떤 파일을 새로운 경로로 복사한다. 2. 새로운 경로로 파일이 복사가 되는 것이지 이동이 되는 것이 아니다. 3. 복사된 파일의 이름을 적절한 형태로 변경할 것이다. […]
파이썬 Butter 으로 밴드패스필터 사용하기
Butter 이용해서 BandPassFilter 만들기 오늘의 목적은 다양한 Hz가 난잡하게 섞인 데이터에서 특정 범위 내의 Hz만을 뽑아내는 겁니다. 우선 제가 가지고 있는 난잡한 데이터입니다. BandPassFilter 설계하기 from scipy.signal import butter, filtfilt # Band-Pass Filter 설계 nyquist = 0.5 * fs low = 0.5 / nyquist high = 3 / nyquist b, a = butter(N=2, Wn=[low, high], […]
연속되는 숫자로 리스트를 나누는 방법
연속되는 숫자로 리스트를 나누는 법 [1,2,3,4,10,11,12,13,20,21,22,23,24,25] 와 같은 리스트가 있다고 가정합시다. 보면 1, 2, 3, 4 순서대로 가다가 어느 순간 다른 숫자가 튀어나오고 또 어느 순간 연속되지 않은 숫자가 나타납니다. 이 리스트를 연속되는 숫자들로만 새롭게 구성해서 나타내고 싶을 때 사용하는 방법입니다. 방법 리스트 내에서 연속되는 숫자의 배열(시퀀스)을 찾기 위해서는, 리스트를 순회하면서 각 숫자가 이전 숫자와 […]
리스트 내 특정 부분을 NAN으로 변경하기
리스트 내에서 특정 부분을 NAN으로 변경하기 리스트 내부에서 특정 부분만을 NAN 값 또는 내가 지정한 특정한 값으로 변경하기 위한 방법입니다. 방법 example_list = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] A = 2 # 3rd element (0-based indexing) B = 5 # 6th element value_to_replace = 0 if A
DataLoader 의 동작 원리
데이터로더의 동작 원리 알아보기 딥러닝을 위한 코드를 작성할 때, 주로 사용하게 되는 로직이 데이터로더입니다. 주로 아래 코드를 통해서 import 하여 사용하게 되죠. 이 모듈의 로직이 어떤 식으로 동작되는지 간단한 코드를 통해 알아보겠습니다. 코드 코드의 동작 로직을 살피기 위하여 아래와 같은 예시 코드를 준비했습니다. NumberDataset() 라는 Class 는 Dataset 의 각종 method 를 상속받아 지정하는 데이터셋입니다. […]
딥러닝 위한 데이터셋 나누는 방법
데이터셋 나누는 방법 특정한 파일들을 각 파일이 가진 특성에 따라서, 0 또는 1이라는 폴더로 파일들을 나누어 저장했다고 가정합시다. 이제 이 파일들을 1 : 1: 8 비율로 나누어 분류할 겁니다. 예컨대 100개의 파일을 가지고 처음 구분을 해뒀다면, 이것을 Train, Val, Test 라는 3개의 용도로 분류된 폴더 안에 다시 0과 1의 폴더를 만들고, 처음 100개의 파일을 각 […]
특정 폴더 내의 엑셀파일 순서대로 읽기
특정 폴더 엑셀파일 순서대로 모두 읽기 특정 폴더 내부에 여러 엑셀 파일이 있고, 이 파일들을 순서대로 읽으며 동일한 작업을 하고 싶을 때가 있을 겁니다. 예컨대 엑셀파일의 파일 이름을 변경하는 작업을 일괄적으로 하고 싶다고 가정할까요? 이를 위해서 위와 같은 코드를 통해 특정 폴더 내부에 있는 모들 파일들을 하나의 리스트에 저장이 가능합니다. 이후 위 리스트에 반복문으로 접근함으로써, […]