CSV 데이터를 JSON 데이터로
데이터프레임을 JSON 형식으로 변경하기 오늘은 데이터프레임의 형태를 어떻게 JSON으로 잘 변환할 수 있는지 알아볼 것입니다. 무슨 작업을 하고 싶으냐… 위와 같이 표를 만들었다고 가정할까요? 저는 이런 데이터프레임을 JSON 데이터로 관리하고자 합니다. [ { “Category”: “주연”, “items”: [ {“직업”: “학생”, “이름”: “모모”, “능력”: “염력”}, {“직업”: “학생”, “이름”: “오카룡”, “능력”: “변신”} ] }, { “Category”: “조연”, “items”: […]
DCM 파일을 PNG로 바꾸기
DCM 파일을 PNG 파일로 변경하기 의료 이미지를 학습하기 위해서는 DCM 파일을 다룰 줄 알아야 합니다. DCM 파일 자체를 곧장 학습에 이용하는 것은 썩 효율적이지 못합니다. DCM 파일은 단순 픽셀만이 아니라 병원에서 이용하는 다양한 정보들을 담고 있기 때문입니다. 픽셀값만을 따로 추출해서, PNG 형식 등으로 이미지를 관리하는 것이 좋습니다. 이를 위해서 어떻게 파이썬에서 DCM 파일을 PNG 파일로 […]
연속되는 숫자로 리스트를 나누는 방법
연속되는 숫자로 리스트를 나누는 법 [1,2,3,4,10,11,12,13,20,21,22,23,24,25] 와 같은 리스트가 있다고 가정합시다. 보면 1, 2, 3, 4 순서대로 가다가 어느 순간 다른 숫자가 튀어나오고 또 어느 순간 연속되지 않은 숫자가 나타납니다. 이 리스트를 연속되는 숫자들로만 새롭게 구성해서 나타내고 싶을 때 사용하는 방법입니다. 방법 리스트 내에서 연속되는 숫자의 배열(시퀀스)을 찾기 위해서는, 리스트를 순회하면서 각 숫자가 이전 숫자와 […]
리스트 내 특정 부분을 NAN으로 변경하기
리스트 내에서 특정 부분을 NAN으로 변경하기 리스트 내부에서 특정 부분만을 NAN 값 또는 내가 지정한 특정한 값으로 변경하기 위한 방법입니다. 방법 example_list = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] A = 2 # 3rd element (0-based indexing) B = 5 # 6th element value_to_replace = 0 if A
DataLoader 의 동작 원리
데이터로더의 동작 원리 알아보기 딥러닝을 위한 코드를 작성할 때, 주로 사용하게 되는 로직이 데이터로더입니다. 주로 아래 코드를 통해서 import 하여 사용하게 되죠. 이 모듈의 로직이 어떤 식으로 동작되는지 간단한 코드를 통해 알아보겠습니다. 코드 코드의 동작 로직을 살피기 위하여 아래와 같은 예시 코드를 준비했습니다. NumberDataset() 라는 Class 는 Dataset 의 각종 method 를 상속받아 지정하는 데이터셋입니다. […]
딥러닝 위한 데이터셋 나누는 방법
데이터셋 나누는 방법 특정한 파일들을 각 파일이 가진 특성에 따라서, 0 또는 1이라는 폴더로 파일들을 나누어 저장했다고 가정합시다. 이제 이 파일들을 1 : 1: 8 비율로 나누어 분류할 겁니다. 예컨대 100개의 파일을 가지고 처음 구분을 해뒀다면, 이것을 Train, Val, Test 라는 3개의 용도로 분류된 폴더 안에 다시 0과 1의 폴더를 만들고, 처음 100개의 파일을 각 […]
특정 폴더 내의 엑셀파일 순서대로 읽기
특정 폴더 엑셀파일 순서대로 모두 읽기 특정 폴더 내부에 여러 엑셀 파일이 있고, 이 파일들을 순서대로 읽으며 동일한 작업을 하고 싶을 때가 있을 겁니다. 예컨대 엑셀파일의 파일 이름을 변경하는 작업을 일괄적으로 하고 싶다고 가정할까요? 이를 위해서 위와 같은 코드를 통해 특정 폴더 내부에 있는 모들 파일들을 하나의 리스트에 저장이 가능합니다. 이후 위 리스트에 반복문으로 접근함으로써, […]
두 개의 리스트로 하나의 딕셔너리 만들기
리스트 두 개로 딕셔너리 만들기 동일한 길이를 가진 리스트 2개가 있을 때, 한쪽 리스트에 있는 값들은 딕셔너리의 key 로, 다른쪽 리스트에 있는 값들인 딕셔너리의 value로 활용하고 싶습니다. 이를 위한 간단한 로직들입니다. 여러 개가 있어서 쭈욱 아래로 나열했습니다. 코드 먼저 가장 대중적인 방법이 아닐까 싶은 zip 방법입니다. 다음은 위 코드와 마찬가지의 결과를 낼 수 있는 다른 […]
Pandas 데이터프레임 특정 Column 만 남기기
Pandas 데이터프레임에서 특정 Column 만 남기기 너무 많은 Column 의 데이터프레임을 다룰 때, 해당 데이터프레임에서 필요한 Column 만을 가지고 새로운 데이터프레임을 만들어 저장하는 것이 도움이 됩니다. 이것을 위한 간단한 로직입니다. 리스트 내부의 Column 만 남기는 로직 import pandas as pd src = {“A”:[1, 1, 1, 1], “B”:[2,2,2,2], “C”:[3,3,3,3]} df = pd.DataFrame(src) # A 와 C […]
리스트 내에서 NAN 값 찾기
파이썬 리스트에서 NAN 값 찾기 파이썬을 통해서 코딩을 할 때, 문제 해결을 위한 자잘한 로직들을 DL 내부에서 파이썬이라는 카테고리로 이따금씩 정리를 해볼까 합니다^^ 방법 Pandas, Numpy, Math 라이브러리를 통한 방법을 주로 사용합니다. Pandas 에서는 isnull() Numpy 와 Math 에서는 isnan() 아래와 같은 예문을 통해 확인 가능합니다. import pandas as pd import math import numpy as […]