自分のキャリアをあれこれ考えながら、Pythonで様々なデータを分析していくブログです

hinomaruc

Python

PythonからPsycopg2を使ってPostgreSQLのデータを操作してみる

明けましておめでとうございます。 2022年の最初の投稿になります、ヒノマルクです。 前回投稿した日から暫く経ってしまいました。 PythonからPostgreSQLにアクセスできるようにしようと思います。 Psycopgについて 今回はP...
Database

[docker] postgreSQL12 + PostGIS3 環境を作成する

ヒノマルクです。タイトルのような仕様で環境構築をする機会があったので、どなたかのお役に立てればと思い記事にしておきます。 ※ 実業務だとdockerイメージを作成するためにプロキシの設定が必要だったりと少々複雑になるので、今回は簡略化してい...
Database

[Mac] PostgreSQL環境を準備する

どうもNFTやWeb3.0というワードに反応しているヒノマルクです。 時代がまた変わりそうですね。 今日はPostgreSQL環境を構築しようと思います。 Macでの構築方法になります。 「Mac postgres」で調べてみるとHomeb...
Database

BigQuery環境を準備してみる

ヒノマルクです。 前回の記事ではHive環境を構築しました。 今回はBigQueryを利用する環境を準備したいと思います。 最近ではHiveからBigQueryに移行したという企業や最初からBigQueryを使う前提でインフラ環境を構築して...
Database

[docker] cloudera quickstartを使ってhive環境を準備する方法

ヒノマルクです。BigQueryやHiveなどのデータをPythonで読み込んでいる方も多いと思います。 今回はHadoop環境をお手軽に試せるclouderaのquick startイメージを使ってhiveを実行できる環境を準備しようと思...
Database

[docker] oracleデータベースXE環境を準備する3つの方法

どうもヒノマルクです。 pandasからOracle DBのデータを取得する記事を書こうと思ったのですが、そもそもOracleデータベースの環境がなかったので作成することにしました。 Macでの環境構築になります。dockerを使っているた...
Python

pandasで様々なデータをデータフレームに読み込んでみよう(TSV編)

どうもヒノマルクです。 今回はCSVファイルではなくTSVとスペースで区切られたファイルを読み込んでみます。 import pandas as pd pd.__version__ Out '1.3.4' TSVを読み込む # API ref...
Python

pandasで様々なデータをデータフレームに読み込んでみよう(CSV編)

どうもヒノマルクです。 今日はCSVをpandasで読み込みたいと思います。 データは下記のようなものを準備しました。 CSVファイル ドラえもん,2112-9-3 野比 のび太,1964-8-7 源 静香,1964-5-2 骨川 スネ夫,...
Python

[Mac] Pythonの仮想環境をvenvで作成する方法

本記事ではpythonの仮想環境を作成するvenvというモジュールの使い方をまとめておきます。 ディープラーニング系のPythonのライブラリをインストールするときにありがちなのですが、たまに競合が発生して、例えばあるライブラリAはnump...
Python

Pythonでの分析用ライブラリであるpandasとは何か

どうもhinomarucです。 記念すべき新ブログでの分析系記事の1番目です。 仕事をしていてもしばらく使わなかったら忘れがちなpandasの使い方を記事化しようとかなと思います。 pandasとは何か pandasとはPythonのライブ...