Post

Encoding And Decoding

Posted Updated
By Hyoeun Choi
18 min read
Encoding And Decoding

The Concepts of Encoding and Decoding

The first step in security analysis is to identify the format of the data you encounter. The most fundamental concepts here are encoding and decoding.

  • Encoding: This is the process of transforming data into another format according to a specific set of rules. Its primary purpose is not to hide the content or meaning of the data, but to change its representation so that it can be transmitted, stored, and processed without issues in specific system environments (e.g., URLs, HTML, JSON). A typical example is converting binary data into ASCII characters to handle it safely in text-based systems.

  • Decoding: This is the process of restoring encoded data back to its original format. It applies the rules used for encoding in reverse to retrieve the original data.

Key Characteristic of Encoding: The Difference from Encryption

A common point of confusion for security beginners is the difference between encoding and encryption. Their purposes are fundamentally different.

  • Purpose: The purpose of encoding is data representation. In contrast, the purpose of encryption is to ensure data confidentiality.
  • Presence of a Key: Encoding uses public, standardized algorithms, so it does not require a secret key. Anyone who knows the encoding method can decode the data. On the other hand, encryption always requires a secret key, and without this key, decrypting the data is practically impossible.

From a security perspective, encoding is often used by attackers as an obfuscation technique to hide malicious payloads or bypass security devices. Therefore, the ability to identify which encoding has been applied and decode the obfuscated data is essential for analysis.

Representative Encoding Schemes

The following are common encoding schemes frequently encountered during data analysis.

  • URL Encoding (Percent-Encoding): Used to safely represent characters that are not allowed in URLs (e.g., spaces, special characters) or are reserved. It converts the character into a % symbol followed by its two-digit hexadecimal value. For example, a space character is encoded as %20, and the < character is encoded as %3c. Attackers often apply URL encoding to SQL injection or XSS payloads to bypass Web Application Firewalls (WAFs).

  • HTML Entity Encoding: Used in HTML documents to prevent certain characters from being interpreted as part of a tag. It plays a crucial role in preventing Cross-Site Scripting (XSS) attacks. For example, the < character is encoded as &lt;, the > character as &gt;, and the " character as &quot;, causing the browser to render them as literal characters rather than as scripts or tags.

  • Base64 Encoding: Used to transmit binary data in environments that only allow text data. This is covered in more detail below.

  • Hex (Hexadecimal) Encoding: Represents binary data as human-readable hexadecimal characters. It is widely used in low-level data analysis, such as memory dumps and file signature analysis.

Understanding Base64 Encoding

Base64 is an encoding scheme that converts binary data into an ASCII string format. Its main purpose is to securely transmit binary data through media designed to handle text (e.g., URLs, email attachments, JSON payloads).

  • How It Works: Base64 groups binary data into 6-bit chunks. Since 6 bits can represent $2^6 = 64$ possible values, each 6-bit value is mapped to a specific character in the Base64 index table (composed of A-Z, a-z, 0-9, +, /). This process introduces a 33% overhead. That is, 3 bytes (24 bits) of binary data are converted into a 4-character (24 bits) Base64 output.
  • Padding: If the length of the original binary data is not a multiple of 3 bytes, padding is used. Base64 adds zero bits until the last 6-bit chunk is filled. It then appends one or two = characters to make the length of the output string a multiple of 4. For example, M becomes TQ==.
  • Identifying Base64: As you mentioned, a long string composed of a-z, A-Z, 0-9, +, and / is likely Base64. If you see padding characters like =, it is almost certainly Base64.

Python Base64 Example

Here is how to encode and decode a string using Python’s built-in base64 library.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

import base64

# A simple string to encode
original_string = "Hello, World!"

# Encode the string
# Note: The string must first be encoded into bytes.
encoded_bytes = base64.b64encode(original_string.encode('utf-8'))
encoded_string = encoded_bytes.decode('utf-8')
print(f"Original: {original_string}")
print(f"Base64 Encoded: {encoded_string}") # Output: SGVsbG8sIFdvcmxkIQ==

# Decode the string
decoded_bytes = base64.b64decode(encoded_bytes)
decoded_string = decoded_bytes.decode('utf-8')
print(f"Base64 Decoded: {decoded_string}") # Output: Hello, World!

Understanding Hex Encoding

Hex (Hexadecimal) encoding is a more direct way to represent binary data. It is often used in debugging, memory dumps, and low-level protocol analysis because it provides a precise byte-by-byte representation.

  • How It Works: Hex encoding represents 1 byte (8 bits) as two hexadecimal characters. Each hex character represents 4 bits (a “nibble”). For example, the byte 10101100 is split into 1010 and 1100, which correspond to the hexadecimal characters A and C, respectively. Thus, the byte 10101100 is represented as AC.
  • Efficiency: Hex is more efficient than Base64 in terms of overhead. One byte (8 bits) of binary data is converted into a 2-character (8 bits) hex output. This is simply a change in representation without data expansion.

Python Hex Example

You can use Python’s binascii library or the built-in .hex() method of bytes objects.

1
2
3
4
5
6
7
8
9
10
11

# Hex example
data = b'Hello, World!'

# Encode to hex
hex_encoded = data.hex()
print(f"Original: {data}")
print(f"Hex Encoded: {hex_encoded}") # Output: 48656c6c6f2c20576f726c6421

# Decode from hex
hex_decoded = bytes.fromhex(hex_encoded)
print(f"Hex Decoded: {hex_decoded}") # Output: b'Hello, World!'

Real-World Application Cases

  • Base64: Used when embedding images directly into CSS or HTML on a web page (data:image/png;base64,...), sending data in URLs (URL-safe Base64), or in JSON Web Tokens (JWTs), where the header, payload, and signature are all Base64URL-encoded strings.
  • Hex: More common in low-level scenarios such as network packet analysis, reverse engineering, and representing hash digests like SHA-256 or cryptographic keys.

Useful Tool: CyberChef

You mentioned an excellent tool. CyberChef is a remarkable web-based utility for data encoding, decoding, encryption, and analysis. It can be described as a “cyber Swiss Army knife” for all security professionals and developers.

CyberChef Link: https://gchq.github.io/CyberChef/

인코딩(Encoding)과 디코딩(Decoding)의 개념

보안 분석의 첫걸음은 마주치는 데이터가 어떤 형태로 표현되었는지 파악하는 것입니다. 이때 가장 기본이 되는 개념이 바로 인코딩과 디코딩입니다.

  • 인코딩(Encoding): 데이터를 특정 규칙에 따라 다른 형식의 데이터로 변환하는 과정입니다. 이는 데이터의 내용이나 의미를 숨기는 것이 아니라, 특정 시스템 환경(예: URL, HTML, JSON)에서 데이터를 문제없이 전송, 저장, 처리할 수 있도록 표현 방식을 바꾸는 것이 주된 목적입니다. 예를 들어, 바이너리(binary) 데이터를 텍스트 기반 시스템에서 안전하게 다루기 위해 ASCII 문자로 변환하는 것이 대표적입니다.

  • 디코딩(Decoding): 인코딩된 데이터를 원래의 형식으로 복원하는 과정입니다. 인코딩에 사용된 규칙을 역으로 적용하여 원본 데이터를 얻습니다.

인코딩의 핵심 특징: 암호화와의 차이점

보안 초심자들이 가장 흔히 혼동하는 것이 인코딩과 암호화(Encryption)의 차이입니다. 둘의 목적은 근본적으로 다릅니다.

  • 목적: 인코딩의 목적은 데이터의 표현입니다. 반면, 암호화의 목적은 데이터의 기밀성(Confidentiality) 보장입니다.
  • 키(Key)의 유무: 인코딩은 공개된, 표준화된 알고리즘을 사용하므로 별도의 비밀 키가 필요 없습니다. 누구든지 해당 인코딩 방식을 알면 디코딩할 수 있습니다. 반면, 암호화는 반드시 비밀 키가 필요하며, 이 키를 모르면 데이터를 복호화(Decrypt)하는 것이 사실상 불가능합니다.

보안 관점에서 인코딩은 공격자가 악성 페이로드를 숨기거나 보안 장치를 우회하기 위한 난독화(Obfuscation) 기법으로 자주 사용됩니다. 따라서 난독화된 데이터를 분석하기 위해 어떤 인코딩이 적용되었는지 식별하고 디코딩하는 능력은 필수적입니다.

대표적인 인코딩 방식들

데이터 분석 시 자주 마주치는 대표적인 인코딩 방식은 다음과 같습니다.

  • URL 인코딩 (Percent-Encoding): URL에서 사용할 수 없는 문자(예: 공백, 특수문자)나 예약된 문자를 안전하게 표현하기 위해 사용됩니다. 해당 문자를 % 기호와 함께 2자리의 16진수 값으로 변환합니다. 예를 들어, 공백 문자는 %20으로, < 문자는 %3c로 인코딩됩니다. 공격자가 웹 애플리케이션 방화벽(WAF)을 우회하기 위해 SQL 인젝션이나 XSS 구문에 URL 인코딩을 적용하는 경우가 많습니다.

  • HTML 엔티티 인코딩 (HTML Entity Encoding): HTML 문서에서 특정 문자가 태그(Tag)의 일부로 해석되는 것을 방지하기 위해 사용됩니다. 크로스 사이트 스크립팅(XSS) 공격을 방지하는 데 핵심적인 역할을 합니다. 예를 들어, < 문자는 &lt;로, > 문자는 &gt;로, " 문자는 &quot;로 인코딩하여 브라우저가 이를 스크립트나 태그가 아닌 일반 문자로 인식하게 만듭니다.

  • Base64 인코딩: 바이너리 데이터를 텍스트 데이터만 허용하는 환경에서 전송하기 위해 사용됩니다. 아래에서 더 자세히 다룹니다.

  • 16진수 (Hex) 인코딩: 바이너리 데이터를 사람이 읽기 쉬운 16진수 문자로 표현합니다. 메모리 덤프, 파일 시그니처 분석 등 로우 레벨(low-level) 데이터 분석에 널리 사용됩니다.

Base64 인코딩 이해하기

Base64는 바이너리 데이터를 ASCII 문자열 형식으로 변환하는 인코딩 방식입니다. 주로 텍스트를 다루도록 설계된 매체(예: URL, 이메일 첨부파일, JSON 페이로드)를 통해 바이너리 데이터를 안전하게 전송하는 것이 주된 목적입니다.

  • 작동 원리: Base64는 바이너리 데이터를 6비트씩 묶습니다. 6비트는 $2^6 = 64$개의 가능한 값을 나타낼 수 있으므로, Base64 색인표(A-Z, a-z, 0-9, +, /로 구성)의 특정 문자가 각 6비트 값에 할당됩니다. 이 과정은 33%의 오버헤드를 발생시킵니다. 즉, 3바이트(24비트)의 바이너리 데이터는 4개의 문자(24비트) Base64 출력으로 변환됩니다.
  • 패딩: 원본 바이너리 데이터의 길이가 3바이트의 배수가 아닐 경우, 패딩(padding)이 사용됩니다. Base64는 마지막 6비트 덩어리가 채워질 때까지 0비트를 추가합니다. 그런 다음 출력 문자열의 길이가 4의 배수가 되도록 하나 또는 두 개의 = 문자를 추가합니다. 예를 들어, M은 TQ==가 됩니다.
  • Base64 식별: 언급하신 대로, a-z, A-Z, 0-9, +, /로 구성된 긴 문자열은 Base64일 가능성이 높습니다. =와 같은 패딩 문자가 보인다면 더욱 확실하게 Base64임을 알 수 있습니다.

Python Base64 예제

Python의 내장 base64 라이브러리를 사용하여 문자열을 인코딩 및 디코딩하는 방법입니다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

import base64

# 인코딩할 간단한 문자열
original_string = "Hello, World!"

# 문자열 인코딩
# 참고: 문자열을 먼저 바이트로 인코딩해야 합니다.
encoded_bytes = base64.b64encode(original_string.encode('utf-8'))
encoded_string = encoded_bytes.decode('utf-8')
print(f"원본: {original_string}")
print(f"Base64 인코딩: {encoded_string}") # 출력: SGVsbG8sIFdvcmxkIQ==

# 문자열 디코딩
decoded_bytes = base64.b64decode(encoded_bytes)
decoded_string = decoded_bytes.decode('utf-8')
print(f"Base64 디코딩: {decoded_string}") # 출력: Hello, World!

16진수 인코딩 이해하기

16진수(Hex) 인코딩은 바이너리 데이터를 보다 직접적으로 표현하는 방법입니다. 디버깅, 메모리 덤프, 하위 수준의 프로토콜 분석에 자주 사용되는데, 바이트 단위로 정확한 표현을 제공하기 때문입니다.

  • 작동 원리: 16진수 인코딩은 1바이트(8비트)를 두 개의 16진수 문자로 표현합니다. 각 16진수 문자는 4비트(“니블”)를 나타냅니다. 예를 들어, 10101100 바이트는 1010과 1100으로 나뉘며, 이는 각각 16진수 A와 C에 해당합니다. 따라서 10101100 바이트는 AC로 표현됩니다.
  • 효율성: 16진수는 Base64보다 오버헤드 면에서 더 효율적입니다. 1바이트(8비트)의 바이너리 데이터는 2개의 문자(8비트) 16진수 출력으로 변환됩니다. 이는 데이터 확장 없이 단순히 표현 방식만 변경되는 것입니다.

Python 16진수 예제

Python의 binascii 라이브러리를 사용하거나, bytes 객체의 내장 .hex() 메서드를 사용할 수 있습니다.

1
2
3
4
5
6
7
8
9
10
11

# 16진수 예제
data = b'Hello, World!'

# 16진수로 인코딩
hex_encoded = data.hex()
print(f"원본: {data}")
print(f"16진수 인코딩: {hex_encoded}") # 출력: 48656c6c6f2c20576f726c6421

# 16진수에서 디코딩
hex_decoded = bytes.fromhex(hex_encoded)
print(f"16진수 디코딩: {hex_decoded}") # 출력: b'Hello, World!'

실제 적용 사례

  • Base64: 웹 페이지의 CSS나 HTML에 이미지를 직접 삽입하거나(data:image/png;base64,...), URL에 데이터를 보내거나(URL-safe Base64), JWT(JSON Web Token)와 같이 헤더, 페이로드, 서명이 모두 Base64URL로 인코딩된 문자열일 때 사용됩니다.
  • 16진수: 네트워크 패킷 분석, 리버스 엔지니어링, SHA-256과 같은 해시 다이제스트 또는 암호화 키를 표현하는 등 하위 수준의 시나리오에서 더 흔히 사용됩니다.

유용한 도구: CyberChef

훌륭한 도구를 언급하셨습니다. CyberChef는 데이터 인코딩, 디코딩, 암호화 및 분석을 위한 탁월한 웹 기반 유틸리티입니다. 모든 보안 전문가와 개발자를 위한 “사이버 맥가이버 칼”이라고 할 수 있습니다.

CyberChef 링크: https://gchq.github.io/CyberChef/

Cybersecurity, Cryptography
Encoding Decoding
This post is licensed under CC BY 4.0 by the author.