seulcoding

pipx creates an isolated environment for each application. (simliar to brew, npx, apt) With pipx, you can manage and use your packages globally without other management tools like pyenv, poetry and so on. It's useful the command like awscli for using globally. Install # install with brew brew install pipx pipx ensurepathshell completion Follow instructions to use tab completions pipx complet..

kafka python usage 카프카 셋업은 이전 글인 kafka setup for ec2 server에서 설명되어있다. 해당 셋업을 완료한 후 테스트를 하면 편리하다. python client로 실제 메세지 처리하는 방법. kafka python client는 크게 세가지 정도가 있다. confluent-kafka-python: 퍼포먼스가 가장 좋음. confluent의 공식 클라이언트. kafka-python: pure python. confluent-python에 비해서는 속도가 느림 pykafka: 2018년 이후 업데이트가 잘 안됨.. 나는 다음의 이유로 kafka-python을 사용하였다. 활발한 contribution 및 활동 직관적이고 간결한 사용법 sync 기준 confluent-ka..

Check execution time in jupyter notebook There're some ipython's built in magic functinos like %time and %timeit. For more information, ipython docs Line magic starts with %, and cell magic starts with %% %%time a = 1You can see the execution time like below

Poetry usage Install curl -sSL https://raw.githubusercontent.com/python-poetry/poetry/master/get-poetry.py | python Enable tab completion # Bash poetry completions bash > /etc/bash_completion.d/poetry.bash-completion # Bash (macOS/Homebrew) poetry completions bash > $(brew --prefix)/etc/bash_completion.d/poetry.bash-completion # Fish poetry completions fish > ~/.config/fish/completions/poetry.fi..

celery Install celery pip install "celery[redis]"Add celery settings in django In config/celery.py from __future__ import absolute_import, unicode_literals import os from celery import Celery os.environ.setdefault("DJANGO_SETTINGS_MODULE", "projectname.settings") app = Celery('config') # Using a string here means the worker doesn't have to serialize # the configuration object to chil..

Using dockerdocker run -d --name jupyterhub jupyterhub/jupyterhub jupyterhub Zero to JupyterHub with Kubernetes (recommended)1. Setup Kubernetes ClusterChoose optoins below (https://zero-to-jupyterhub.readthedocs.io/en/latest/create-k8s-cluster.html)Step Zero: Kubernetes on Google Cloud (GKE) Step Zero: Kubernetes on Microsoft Azure Container Service (AKS) Step Zero: Kubernetes on Amazon Web Ser..

요즈음 대부분의 코드에서 테스트를 작성하려고 노력중이다.하지만 jupyter notebook으로 코드를 작성하면서 테스트를 작성하자 아래 에러가 나타났다.if __name__ == '__main__': unittest.main() E ====================================================================== ERROR: /Users/path_to_kernel (unittest.loader._FailedTest) ---------------------------------------------------------------------- AttributeError: module '__main__' has no attribute '/Users/path_to..

아이튠즈에 음악을 넣으면 태그 (앨범, 아티스트, 년도) 등이 있어야 제대로 구성을 해준다.태그가 없는 앨범들을 넣다보니 귀찮아서 python 라이브러리를 찾아보니 eyeD3(https://pypi.org/project/eyeD3/)이 있어 이를 사용해 보았다.설치python 2.7 ~ 3.3까지 지원.pip로 설치pip install eyeD3 소스 아카이브에서 설치여기에서 최신버전을 받은 뒤에 설치해준다.$ tar xzf eyeD3-X.Y.Z.tar.gz $ cd eyeD3-X.Y.Z # This may require root access $ python setup.py install ImportError: failed to find libmagic. Check your installationmac ..

1. Creating setup.py다양한 정보들을 포함시킨 setup.py 파일을 만든다. 해당 패키지의 버전, 이름 등을 알려준다.import setuptools with open("README.md", "r") as fh: long_description = fh.read() setuptools.setup( name="example_package", version="0.1.0", author="bartkim0426", author_email="bartkim0426@gmail.com", description="short description", long_description=long_description, long_description_content_type="text/markdown", package..

Make by ownusing sha256, AESimport os, random from Crypto.Cipher import AES from Crypto.Hash import SHA256 def encrypt(key, filename): chunk_size = 64*1024 output_file = filename+".enc" file_size = str(os.path.getsize(filename)).zfill(16) IV = '' for i in range(16): IV += chr(random.randint(0, 0xFF)) encryptor = AES.new(key, AES.MODE_CBC, IV) with open(filename, 'rb') as inputfile: with open(out..