소프트웨어 공장

AOSP 시스템 프로파일링 최적화: Systrace에서 Perfetto 전환 및 SQL 쿼리 분석 가이드

내용요약문제: 안드로이드 시스템(AOSP) 빌드 환경 또는 고부하 런타임에서 기존 Systrace 사용 시 구형 Python 2.7 의존성 문제로 실행이 불가하거나, 대용량 트레이스 버퍼 저장 시 메모리 고갈로 크래시되는 현상.원인: Systrace의 레거시 아키텍처는 수백 MB 이상의 대용량 이벤트를 단일 HTML 파일로 덤프하여 프론트엔드 단에서 파싱하므로, 데이터 유실(Dropped Events) 및 타임라인 렌더링 병목이 한계.해결책: 차세대 프로파일링 도구인 Perfetto 프로토콜 버퍼(Protobuf) 기반 파이프라인을 도입, Perfetto UI 및 내장 SQLite 엔진 기반 SQL Query를 사용하여 시스템 전체 데이터(App, Framework, Native, Kernel)를 저오버..

eBPF 기반 리눅스 커널 메모리 누수(Memory Leak) 및 좀비 프로세스(Zombie Process) 추적 가이드

내용 요약현상: 장시간 구동 시 메모리가 지속적으로 감소하고 [defunct] 상태의 좀비 프로세스가 쌓여 PID 자원이 고갈됨.원인: 메모리 할당 후 해제(free/kfree)가 누락되는 메모리 누수와, 종료된 자식 프로세스의 수거(waitpid)가 누락되는 좀비 프로세스 누적.해결: eBPF 기반의 kprobe/uprobe를 활용해 메모리 할당·해제 이벤트를 실시간으로 추적 및 대조하여 누수와 고립 리소스를 탐지.리눅스 시스템 메모리 고갈(Memory Exhaustion) 및 좀비 프로세스 누적 증상리눅스 기반 임베디드 장치 및 서버 환경을 장기 운용할 때, 물리 메모리(RAM)의 여유 공간이 서서히 줄어들다가 결국 커널의 OOM Killer (Out of Memory Killer)가 동작하여 데몬을..

eBPF 기반 파일 I/O 및 네트워크 지연(Latency) 추적기 구현 가이드 (bcc / bpftrace 실습)

내용 요약현상: 기존 모니터링 도구(top, iostat)로는 특정 프로덕션 환경의 간헐적인 파일 I/O 및 네트워크 지연을 유발하는 커널 콜 스택 병목 지점을 특정할 수 없음.원인: 동적 트레이싱 도구가 없어 가상 파일 시스템(VFS), 블록 레이어, TCP 스택 등 커널 스페이스 내부의 세부 지연 시간을 정밀하게 계측하지 못함.해결: eBPF 기반의 bcc 및 bpftrace를 활용해 주요 커널 함수에 kprobe/kretprobe를 부착하고, 마이크로초($\mu\text{s}$) 단위의 지연 시간을 비침습적으로 측정 및 시각화함.리눅스 프로덕션 환경의 파일 I/O 및 네트워크 지연(Latency Breakdown) 발생 증상엔터프라이즈 리눅스 시스템을 운영하다 보면 Storage I/O Bottle..

내용 요약현상: 고부하 리눅스 시스템에서 기존 방식으로 대량의 커널 이벤트를 트레이싱할 때, 과도한 컨텍스트 스위칭과 디스크 I/O로 인해 시스템 지연 및 패킷 드롭이 발생함.원인: 전통적인 도구들은 커널의 방대한 데이터를 유저 공간으로 일일이 복사한 뒤 필터링하므로, 메모리 대역폭 소모와 컨텍스트 스위칭 병목이 유발됨.해결: eBPF의 인-커널 가상 머신과 Map 구조를 활용해 커널 내부에서 실시간으로 데이터를 요약·필터링함으로써, 유저 공간으로의 복사 오버헤드를 최소화함.리눅스 커널 트레이싱 오버헤드 및 시스템 락업 증상 (Linux Kernel Tracing Overhead & High-Load System Lock-up Symptoms)커널 레벨의 모니터링을 위해 고부하 상용 운영 환경(Produ..

내용 요약현상: 예기치 못한 HardFault 크래시 혹은 HardFault_Handler에서 멈추는 현상.원인: 유효하지 않은 메모리 참조 또는 잘못된 함수 포인터 호출로 Stack Frame을 Push한 상태로 실시간 연결이 끊어지는 문제.해결: 스택에 저장된 PC(Program Counter)와 LR(Link Register) 레지스터의 컨텍스트를 Core Dump 메모리 버퍼에서 역추적.펌웨어 크래시와 코어 덤프 메모리 유실 증상 (Firmware Crash & Core Dump Memory Loss Symptoms)임베디드 장치가 필드에 배포된 이후 발생하는 간헐적인 시스템 다운(System Lock-up) 현상은 실시간 디버거(J-Link, ST-Link)를 연결할 수 없어 원인 파악이 어렵습..

내용 요약현상: MCU 구동 중 시스템이 멈추거나 HardFault_Handler 무한 루프에 빠져 Lock-up 되는 현상.원인: NULL 포인터 참조, 잘못된 메모리 주소 접근, 데이터 오정렬 등으로 레지스터 및 콜 스택(Call Stack) 데이터 유실되는 문제.해결: 리셋하지 않고 OpenOCD의 no_reset 또는 halt 옵션으로 타깃 접속 후, GDB를 Attach하여 SP(Stack Pointer), PC(Program Counter) 레지스터 추적.펌웨어 크래시 및 하드폴트 무한 루프 발생 증상 (Firmware Crash & HardFault_Handler Lock-up Symptoms)임베디드 시스템 필드 테스트나 장기 신뢰성 시험 중, MCU가 아무런 응답을 하지 않고 죽어버리는 ..

내용 요약현상: 디버거 연결 시 Target Not Found, Cannot Connect to Target 오류, MCU가 Debug Mode로 진입하지 못하고 락업(Lock-up)되는 현상원인: JTAG/SWD 물리 핀 연결은 정상이나, TAP(Test Access Port) State Machine의 동기화 실패 또는 CoreSight ROM Table 탐색 중 버스 에러(Bus Error) 발생.해법: TMS/SWDIO 라인의 홀드 타임(Hold Time)을 확보하여 TAP State를 Test-Logic-Reset으로 강제 초기화하고, DP(Debug Port)와 AP(Access Port) 레지스터를 순차적으로 제어.JTAG/SWD 디버그 연결 실패 및 타깃 인식 불량 증상 (Target Co..