[Python][Pandas] 판다스 데이터 프레임 결합/합치기 ( concat, merge, join )

1. 데이터 프레임 결합의 기본 개념

판다스(Pandas)는 데이터 분석에 매우 유용한 라이브러리로, 데이터 프레임을 다루는데 용이한 기능을 제공합니다. 데이터 프레임은 표 형태로 구성된 데이터를 다룰 때 사용되며, 여러 개의 열(Column)과 행(Row)으로 구성되어 있습니다.

데이터 프레임은 여러 개의 데이터를 하나로 합치는데 사용될 수 있습니다. 데이터를 합치는 방법은 크게 concat() 함수와 merge() 함수, 그리고 join() 함수를 이용하는 방법이 있습니다.

concat() 함수는 데이터 프레임을 행 방향 또는 열 방향으로 결합할 때 사용되며, merge() 함수는 두 개 이상의 데이터 프레임을 공통된 열을 기준으로 결합할 때 사용됩니다. join() 함수는 인덱스를 기준으로 데이터 프레임을 결합하는데 사용되며, 이때는 merge() 함수와 유사한 방식으로 작동합니다.

이번 블로그에서는 concat() 함수와 merge() 함수, 그리고 join() 함수를 이용하여 데이터 프레임을 결합하는 방법에 대해 자세히 알아보겠습니다. 각 함수의 사용법과 주요 파라미터, 그리고 실제 데이터를 활용한 예시를 통해 데이터 프레임 결합에 대한 이해를 높여보도록 하겠습니다.

2. concat() 함수를 이용한 데이터 프레임 결합

concat() 함수는 데이터 프레임을 행 방향 또는 열 방향으로 결합할 때 사용됩니다. 데이터 프레임을 결합할 때는 axis 파라미터를 통해 결합 방향을 지정할 수 있으며, 기본값은 0으로 행 방향입니다.

2.1. 데이터 프레임을 행 방향으로 결합하기

먼저 concat() 함수를 이용해 데이터 프레임을 행 방향으로 결합하는 방법을 알아보겠습니다. 예를 들어, 두 개의 데이터 프레임 df1과 df2가 있다고 가정해봅시다.

import pandas as pd

data1 = {'A': [1, 2, 3],
         'B': [4, 5, 6]}
df1 = pd.DataFrame(data1)

data2 = {'A': [7, 8, 9],
         'B': [10, 11, 12]}
df2 = pd.DataFrame(data2)

이때, 두 데이터 프레임을 행 방향으로 결합하려면 아래와 같이 concat() 함수를 사용합니다.

result = pd.concat([df1, df2], axis=0)

결합 결과는 다음과 같이 나타납니다.

2.2. 데이터 프레임을 열 방향으로 결합하기

데이터 프레임을 열 방향으로 결합하려면 axis 파라미터를 1로 지정해주면 됩니다. 위에서 사용한 데이터 프레임 df1과 df2를 열 방향으로 결합하는 예시를 살펴보겠습니다.

result = pd.concat([df1, df2], axis=1)

이렇게 결합된 결과는 다음과 같습니다.

2.3. 결합할 때 인덱스 설정하기

concat() 함수를 이용해 데이터 프레임을 결합할 때 인덱스를 설정할 수도 있습니다. ignore_index 파라미터를 True로 설정하면 결합된 결과의 인덱스가 다시 설정됩니다.

result = pd.concat([df1, df2], axis=0, ignore_index=True)

결합 결과는 아래와 같습니다.

concat() 함수를 이용해 데이터 프레임을 결합하는 방법에 대해 간단히 알아보았습니다. 이제 다음 장에서는 merge() 함수를 이용한 데이터 프레임 결합에 대해 알아보겠습니다.

3. merge() 함수를 이용한 데이터 프레임 결합

merge() 함수는 공통 열을 기준으로 데이터 프레임을 결합할 때 사용됩니다. merge() 함수로 데이터 프레임을 결합할 때는 어떤 열을 기준으로 결합할 것인지를 설정해야 합니다.

3.1. 공통 열을 기준으로 데이터 프레임 결합하기

merge() 함수로 데이터 프레임을 결합할 때, 공통 열을 기준으로 결합하는 방법을 알아보겠습니다. 이때, 데이터 프레임은 left와 right로 구분할 수 있으며, 각각이 결합 기준 열을 가지고 있다고 가정해보겠습니다.

import pandas as pd

data1 = {'A': [1, 2, 3],
         'B': [4, 5, 6]}
df1 = pd.DataFrame(data1)

data2 = {'A': [1, 2, 4],
         'C': [7, 8, 9]}
df2 = pd.DataFrame(data2)

이때, df1과 df2를 'A' 열을 기준으로 결합하려면 아래와 같이 merge() 함수를 사용합니다.

result = pd.merge(df1, df2, on='A')

결합 결과는 다음과 같습니다.

3.2. 다른 열을 기준으로 데이터 프레임 결합하기

때로는 공통된 열이 없을 수도 있습니다. 이럴 때는 merge() 함수의 left_on과 right_on 파라미터를 사용하여 다른 열을 기준으로 데이터 프레임을 결합할 수 있습니다. 예를 들어, df1과 df2의 'B' 열과 'A' 열을 기준으로 결합하려면 아래와 같이 merge() 함수를 사용합니다.

result = pd.merge(df1, df2, left_on='B', right_on='A')

결합 결과는 다음과 같습니다.

3.3. 결합 방식 설정하기

merge() 함수를 사용할 때 결합 방식을 설정할 수 있습니다. 어떤 결합 방식을 사용할 것인지는 how 파라미터를 통해 설정할 수 있습니다. 기본값은 'inner'으로 교집합을 의미합니다. 다른 결합 방식으로 'left', 'right', 'outer' 등이 있습니다. 예를 들어, 'outer' 결합 방식을 사용하여 결합하려면 아래와 같이 merge() 함수를 사용합니다.

result = pd.merge(df1, df2, on='A', how='outer')

3.4. 결합한 결과를 적절히 정리하기

merge() 함수를 사용하여 데이터 프레임을 결합하면 결과가 중복된 열이 생길 수 있습니다. 이런 경우, 적절히 열을 정리해주어야 합니다. 예를 들어, 위에서의 결합 결과에서 중복된 열 'A'를 삭제하고 싶다면 아래와 같이 drop() 함수를 사용할 수 있습니다.

result = result.drop(columns='A')

이렇게 merge() 함수를 이용한 데이터 프레임 결합 방법에 대해 알아보았습니다. 이제 다음 장에서는 join() 함수를 이용한 데이터 프레임 결합에 대해 알아보겠습니다.

4. join() 함수를 이용한 데이터 프레임 결합

join() 함수는 인덱스를 기준으로 데이터 프레임을 결합할 때 사용됩니다. join() 함수로 데이터 프레임을 결합할 때는 어떤 인덱스를 기준으로 결합할 것인지를 설정해야 합니다.

4.1. 인덱스를 기준으로 데이터 프레임 결합하기

join() 함수로 데이터 프레임을 결합할 때, 인덱스를 기준으로 결합하는 방법을 알아보겠습니다. 이때, 데이터 프레임은 left와 right로 구분할 수 있으며, 각각이 결합 기준 인덱스를 가지고 있다고 가정해보겠습니다.

import pandas as pd

data1 = {'A': [1, 2, 3],
         'B': [4, 5, 6]}
df1 = pd.DataFrame(data1, index=['a', 'b', 'c'])

data2 = {'C': [7, 8, 9],
         'D': [10, 11, 12]}
df2 = pd.DataFrame(data2, index=['b', 'c', 'd'])

이때, df1과 df2를 인덱스를 기준으로 결합하려면 아래와 같이 join() 함수를 사용합니다.

result = df1.join(df2)

결합 결과는 다음과 같습니다.

4.2. 결합 방식 설정하기

join() 함수를 사용할 때 결합 방식을 설정할 수 있습니다. 어떤 결합 방식을 사용할 것인지는 how 파라미터를 통해 설정할 수 있습니다. 기본값은 'left'로 왼쪽 데이터 프레임의 인덱스를 기준으로 결합합니다. 다른 결합 방식으로 'right', 'outer', 'inner' 등이 있습니다. 예를 들어, 'outer' 결합 방식을 사용하여 결합하려면 아래와 같이 join() 함수를 사용합니다.

result = df1.join(df2, how='outer')

결합한 결과에 결측치가 생길 수 있으니, 필요에 따라 결측치를 적절히 처리해주어야 합니다.

이렇게 join() 함수를 이용한 데이터 프레임 결합 방법에 대해 알아보았습니다. 이제 다음 장에서는 데이터 프레임 결합 시 주의할 점에 대해 알아보겠습니다.

5. 데이터 프레임 결합 시 유의할 점

데이터 프레임을 결합할 때 주의해야 할 몇 가지 사항들이 있습니다. 특히 중복된 열 이름 처리와 결측치 처리에 대해서 알아보도록 하겠습니다.

5.1. 중복 열 이름 처리하기

데이터 프레임을 결합할 때, 두 개 이상의 데이터 프레임에 같은 이름의 열이 있다면 어떻게 처리해야 할까요? 이때는 suffixes 파라미터를 사용하여 열 이름을 구분할 수 있습니다.

import pandas as pd

data1 = {'A': [1, 2, 3],
         'B': [4, 5, 6],
         'C': [7, 8, 9]}
df1 = pd.DataFrame(data1)

data2 = {'A': [1, 2, 12],
         'B': [13, 14, 15],
         'C': [16, 17, 18]}
df2 = pd.DataFrame(data2)

result = df1.merge(df2, on='A', suffixes=('_left', '_right'))

위의 코드에서는 df1과 df2를 'A' 열을 기준으로 결합하고, suffixes 파라미터를 사용하여 열 이름을 구분하였습니다. 결과는 다음과 같습니다.

이렇게 suffixes 파라미터를 이용하여 중복된 열 이름을 구분하여 결합 결과를 처리할 수 있습니다.

5.2. 결측치 처리하기

데이터 프레임을 결합할 때, 결합하는 열에 해당하는 값이 하나의 데이터 프레임에만 존재한다면, 결합한 결과에는 결측치가 발생할 수 있습니다. 이때는 결측치를 어떻게 처리할 것인지를 결정해야 합니다.

결측치 처리 방법에는 여러 가지가 있으며, 자신의 분석 목적과 데이터 특성에 맞게 선택할 수 있습니다. 일반적으로는 결측치를 제거하거나 평균값이나 중간값으로 대체하는 방법을 사용합니다.

import pandas as pd

data1 = {'A': [1, 2, 3],
         'B': [4, 5, 6]}
df1 = pd.DataFrame(data1)

data2 = {'A': [2, 3, 4],
         'C': [7, 8, 9]}
df2 = pd.DataFrame(data2)

result_inner = df1.merge(df2, on='A', how='inner')  # 공통된 값만 결합
result_outer = df1.merge(df2, on='A', how='outer')  # 모든 값 결합
result_left = df1.merge(df2, on='A', how='left')  # 왼쪽 데이터 프레임에 있는 값만 결합
result_right = df1.merge(df2, on='A', how='right')  # 오른쪽 데이터 프레임에 있는 값만 결합

위 코드에서는 각각의 결합 방식에 따라 결과를 확인할 수 있습니다. 결합 결과에 결측치가 발생하면, 필요에 따라 이를 적절히 처리해줘야 합니다.

이렇게 데이터 프레임 결합 시 유의할 점에 대해서 알아보았습니다. 

6. 데이터 프레임 결합 방법 비교

이번 장에서는 예제를 통해 데이터 프레임 결합 방법을 비교 설명하겠습니다. 아래 예제를 따라해보며 각각의 결합 방법을 살펴보세요.

import pandas as pd

# 예제 데이터 생성
data1 = {'A': ['Alice', 'Bob', 'Charlie'],
         'B': [25, 30, 35]}
df1 = pd.DataFrame(data1)

data2 = {'A': ['Alice', 'Bob', 'David'],
         'C': ['Seoul', 'New York', 'Paris']}
df2 = pd.DataFrame(data2)

# concat() 함수를 이용한 데이터 프레임 결합
concat_result = pd.concat([df1, df2], axis=1)

# merge() 함수를 이용한 데이터 프레임 결합
merge_result = df1.merge(df2, on='A', how='inner')

# join() 함수를 이용한 데이터 프레임 결합
join_result = df1.set_index('A').join(df2.set_index('A'))

print(concat_result)
print(merge_result)
print(join_result)

위의 예제 코드에서는 data1과 data2라는 예제 데이터를 생성하고, 각각의 데이터 프레임을 concat() 함수, merge() 함수, join() 함수를 사용하여 결합한 결과를 출력하고 있습니다.

concat() 함수를 사용한 결합 결과를 보면, axis 파라미터를 통해 행 방향으로 데이터 프레임을 결합한 것을 확인할 수 있습니다.

merge() 함수를 사용한 결합 결과는 on 파라미터를 통해 'A' 열을 기준으로 데이터를 결합한 것을 볼 수 있습니다.

join() 함수를 사용한 결합 결과는 set_index() 함수를 통해 'A' 열을 인덱스로 설정하고, 인덱스를 기준으로 데이터를 결합한 것을 확인할 수 있습니다.

데이터 프레임을 결합하여 분석을 진행할 때 이러한 결합 방법들을 유연하게 활용할 수 있습니다.

다음 장에서는 결론을 적절히 정리하여 마무리하도록 하겠습니다.

7. 결론

이번 블로그에서는 데이터 프레임을 결합하는 방법에 대해 다양한 예제와 함께 알아보았습니다. 데이터를 분석하거나 처리할 때, 여러 개의 데이터 프레임을 결합하여 필요한 정보를 얻는 것은 매우 중요한 과정입니다.

우리는 다음과 같은 주제들을 다루었습니다:

• 데이터 프레임 결합의 기본 개념
• concat() 함수를 이용한 데이터 프레임 결합
• merge() 함수를 이용한 데이터 프레임 결합
• join() 함수를 이용한 데이터 프레임 결합
• 데이터 프레임 결합 시 유의할 점
• 예제와 함께 설명하는 데이터 프레임 결합 방법

각각의 방법을 이해하고 실제 데이터를 활용하여 예제를 통해 적용해보았습니다. 이렇게 데이터 프레임을 결합하여 필요한 정보를 얻을 수 있습니다.

데이터 프레임 결합은 데이터 처리 및 분석에서 매우 유용하게 사용되는 기능 중 하나입니다. 데이터 프레임의 크기, 구조, 결합 방식에 따라서 적절한 방법을 선택하여 사용해야 합니다.

이번 블로그를 통해 데이터 프레임 결합에 대한 기본 개념과 각 함수의 사용법을 익히셨기를 바랍니다. 이를 토대로 다양한 데이터 분석 및 처리 작업에서 데이터 프레임을 결합하는데 활용하시기 바랍니다.

본 블로그 글은 G-ChatBot 서비스를 이용하여 AI(ChatGPT) 도움을 받아 작성하였습니다.

https://gboysking.net

G-ChatBot