Programming

패킹, 언패킹func(*iterable)iterable 객체를 언패킹하여, 개별 인자로 전달함>>> def who(a,b,c): print(a,b,c, sep =',') >> who(*[1,2,3])1, 2, 3>> who(*[0.1, 0.2, 0.3])0.1, 0.2, 0.3 funct(**dict)>>> def who(a,b,c): print(a,b,c, sep =',') >> d = dict(a = 1, b = 2, c = 3)>> who(*d) # key가 전달된다.a, b, c>> who(**d) # value가 전달된다.1, 2, 3 def func(*args)값들이 튜플로 묶여서 args에 전달된다.>>> def func(*args): print(args) >> f..

집계 함수 (Aggregate Functions)AVG(): 평균값 계산SUM(): 합계 구하기COUNT(): 전체 행 개수COUNT(*): 모든 행의 개수COUNT(컬럼명): NULL이 아닌 값의 개수MAX() / MIN(): 최대값과 최소값GROUP_CONCAT(): 문자열 합치기ROUND() / CEIL() / FLOOR(): 반올림, 올림, 내림 두번째 인자로 어느 자리까지 표현 정함TRUNCATE(): 지정한 자리수까지 버림상위 N개 데이터 추출 (LIMIT)LIMIT N: 결과에서 상위 N개만 출력 날짜 다루기# 날짜 범위 조회WHERE JOINED BETWEEN '2021-01-01' AND '2021-12-31'또는WHERE YEAR(JOINED) = 2021 # 날짜 포맷 변경DATE_F..

드디어 Python 3.13.0 에서 GIL이 해제 되었다. Python 3.13.0 으로 멀티쓰레딩 성능 테스트를 해보려 했지만, 실패했다.찾아보니, 일반 CPython 3.13 에선 아직 안되고, GIL을 해제하여 빌드 된 CPython을 사용해야 한다.pyenv 를 활용하여 GIL이 해제된 CPython을 구해보자pyenv install 3.13t-devpyenv shell 3.13t-devpython3 --version # Python 3.13.0+ 형식으로 나오면 성공   GIL이 해제되어 성능이 싱글 쓰레드 그렇다면 8코어 8쓰레드 M3 기준 CPU를 잘 갈구는지 확인해보자  테스트 코드import mathimport multiprocessingimport sysimport sysconfigi..

파이썬 자료구조 특징특징ListDictionarySetTuple순서 유지OPython 3.7 부터 OXO인덱싱OXXO변경 가능성OOOX중복 허용O키는 중복 불가, 값은 가능XO데이터순차 데이터 키-값 쌍 데이터 고유한 요소 집합불변 데이터  GIL(Global Interpreter Lock)Python 매커니즘으로 여러 스레드가 동시에 실행되는 것을 방지 → 한 번의 하나의 스레드만 실행됨목적메모리 관리 - 참조 카운트를 통해 가비지 컬렉터를 작동하는 데, 이 부분이 race condition에 취약함, 이를 해결간소화 - 다중 스레드 환경에서 데이터 무결성을 유지장점GIL로 다중 스레드 환경의 복잡한 문제를 쉽게 해결 → 그냥 스레드를 잠궈버림메모리 관리 문제를 해결하여 데이터 무결성 유지단점병렬성 제..

파이썬 GIL이란?파이썬은 다른 언어 (C++ or Java)의 멀티쓰레드와 다른 점이 있다. 멀티 쓰레드가 멀티 쓰레드가 아니다 무슨 말이냐 하면 동시성을 만족하지 못한다.위의 그림처럼 쓰레드를 3개로 나누어 실행하더라도 GIL를 가진 쓰레드만 실행되고, 나머지 쓰레드는 GIL release 되기를 기다린다.동시성을 갖기 위해서는 멀티 프로세싱을 활용해야 한다. 다만 멀티 프로세스는 멀티 쓰레드에 비해 오버헤드나 데이터 교환 어려움 등의 단점이 있다. 멀티 쓰레드의 사용사실상 CPU 코어나 쓰레드를 못굴리는데, 멀티쓰레드를 언제 사용하냐I/O Bound를 해결할 때 사용한다. DB, API, UI 등의 작업들은 CPU 작업 속도에 비해 현저히 느리기에 CPU 입장에서는 I/O 요소들로 인해 작업 손실을..

회사에서 Pandas와 Numpy 를 통해 대용량 로그 파일을 처리하는 데, 비이상적으로 긴 응답 시간을 해결한 내용을 기술한다.선 3줄 요약Pandas 인덱스 접근 함수는 at이 가장 빠르다Pandas의 DataFrame 각 cell별 업데이트가 아닌 Numpy의 array로 행을 만들어 교체가 더 빠르다.Pandas의 DataFrame → Numpy의 ndarray 대체가 더 빠를 수 있다.  Pandas vs Numpy 보통 파이썬에서 행렬 데이터를 처리하면 Pandas가 가장 먼저 검색되고 예시가 많다.하지만 읽기/쓰기 작업이 빈번하다면 Pandas의 DataFrame 보단 Numpy의 ndarry가 성능면에서 더 좋다.https://www.geeksforgeeks.org/difference-b..

속도문서에 따르면 3.10에 비해 10% ~ 60% 빨라졌다. 즉 1.25 배 빨라졌다  예외 처리 새 구문 (except*) 예외문에 대한 그룹을 설정할 수 있고, 한번에 여러 예외를 받을 수 있다.또한 출력문을 예쁘게 그려준다def f(): raise ExceptionGroup( "group1", [ OSError(1), SystemError(2), ExceptionGroup( "group2", [ OSError(3), RecursionError(4) ] ..

하반기 공채를 준비하면서 파이썬 내장 모듈을 유용하게 쓰다보니 내부 구조나 알고리즘을 뭘로 썼지? 혹시.. 내부 구조/알고리즘이 별로라서 메모리/시간 초과가 뜨지 않았나 하는 탓 할겸 간만에 CS 공부 워밍업 겸 영어 문서 읽을 겸 🧑🏻‍💻 가장 익숙한 sort() sorted() 부터 파보자 Sort() vs Sorted() sort 함수는 List.sort(*, key=None, reverse=False) 형식으로 "리스트형의 메소드"​​으로 리스트_객체 값을 직접 수정한다. sorted 함수는 sorted(iterable, /, *, key=None, reverse=False) 형식으로 "파이썬 기본 내장 함수"으로 원본 값은 그대로이고 정렬 값을 반환한다. 기존에 사용할 땐, 그저 원본 데이터가 ..

파이썬에서 그래프를 표현할 때 많이 사용하는 pyqtgraph, matplotlib 패키지가 있다. 결론부터 말하면 serial port, bluetooth 등의 정보를 실시간으로 모니터링, 시각화 하는 등의 프로그램이라면 pyqtgraph 패키지를 추천하고 정적 또는 화면 프레임수가 초당 10fps 이하의 간단한 프로그램이라면 matplotlib의 animation.FuncAnimation 를 사용할 수 있다. 두 라이브러리의 차이점은 1. 속도. matplotlib은 애초에 실시간 모니터링 등의 동적인 GUI를 염두에 두고 만들어지지 않았다. 이 이유로 필자는 matplotlib을 대신 pyqtgraph를 사용한다. 2. 편리성. 프로그램 GUI를 PyQt로 개발했다면 pyqtgraph를 프로그램에 ..

파이썬에서 GUI 를 그릴 때 많이 사용하는 프레임워크에 Tkinter와 PyQt가 있다. 결론적으로 말하면 PyQt를 추천한다.  이유를 설명하자면1. 현재 PyQt를 지원하는 다양한 프레임워크, 라이브러리가 있으며 앞으로도 그럴 경향이 높다. PyQt로 개발한 프로그램을 수정할 때, Tkinter 보다 용이하게 기능을 추가할 수 있다. 2. GUI 자체를 처음 접하거나 JAVA 등에서 GUI를 사용하신 분이더라도 처음 사용하는 프레임워크라면 컴퓨터 환경, 개인의 실수 등으로 Error 메세지를 접하게 된다. 이 때 좀 더 많은 해결방법과 정보를 얻기에는 PyQt가 유리하다. 3. PyQt는 크로스-플랫폼 이기에 개발을 할 때, 이를 염두하고 코드를 작성한다면 크로스-플랫폼을 구현하기에 용이하다. 반면..