Pandas入門講座｜06.PandasでCSV・Excelファイルの読み込み・書き出し、データベースとの接続方法【PythonのライブラリPandas】

＼キノコードが作ったプログラミング学習 サービス登場／ 学んだ知識をその場でアウトプットできるからスキルの定着が実感できる Python学習といえば、キノクエスト！ ・問題数は充実の350問以上 ・環境構築は不要！ ・カリキュラムがあるので学習方法に迷わない ▼登録はこちら▼ https://kino-code.com/kq_service_a/?utm_source=youtube.com&utm_medium=referral&utm_campaign=Xi6GqT9SD-k_gaiyou ーーー この動画では、CSV・Excelファイルの読み込み・書き出し、データベースとの接続方法について説明します。初心者の方でもわかりやすいように丁寧な解説を心がけました。目次は下記になります。 ▼目次 00:00 はじめに 01:03 Pandasインポート 01:21 csvファイルをデータフレームとして読み取る方法 03:30 csvファイルのカラム名を変更してデータフレームとして読み取る方法 03:56 csvファイルのインデックスを指定してデータフレームとして読み取る方法 04:49 csvファイルの複数のインデックスを指定して読み取る方法 06:39 データフレームをcsvファイルに書き出す方法 07:20 Excelファイルをデータフレームとして読み込む方法 07:52 行をスキップしてExcelファイルをデータフレームとして読み込み方法 08:28 カラム名を指定してExcelファイル読み込む方法 09:51 インデックスを指定してExcelファイル読み込む方法 10:22 行スキップ、インデックス指定して読み込む方法 11:33 データフレームをExcelファイルに書き出す方法 12:18 クリップボードのデータをデータフレームとして読み込む方法 12:51 Pandasでデータベース接続する方法 13:46 Pandasでデータベースを作成する方法 15:35 Pandasでデータベースのテーブルからデータを取得する方法 16:06 WHERE句を使ったSQL文 16:48 大量データの扱い方 18:03 確認問題 ▼自己紹介 現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化など） 前職：リクルート ▼SNS Twitter : https://twitter.com/kino_code/likes Facebook :https://www.facebook.com/%E3%82%AD%E3%83%8E%E3%82%B3%E3%83%BC%E3%83%89-105693727500005/ ▼文字書き起こし この動画では、Pandasでのcsvファイル、Excelファイル、データベースからのデータの読み込み、書き出しの方法を説明します。 これらの方法を覚えると、色々なファイル形式から、Pandasのデータフレームに読み込むため、データ集計や加工などの前処理の効率化ができます。 また書き出しもできるため、自動でExcelなどでレポート作成が可能です。 さらには、データベースとの接続もできるので大量データを扱うことも可能です。 読み込む前の準備として概要欄に記載したキノコードのサイトにCSVファイルやExcelを用意しています。それをダウンロードして、学習用のJupyter Labを保存しているフォルダにに保存してください。 それではパソコン画面に切り替えてレッスンを進めていきましょう。 Pandasインポート import pandas as pd それでは、Pandasをインポートするところから始めていきましょう。 まず、Pandasをインポートする記述を書きます。 「import pandas as pd」を書きます。 「as」は、ライブラリ名（pandas）を好きな名前で使うことができます。 したがって、この記述により「pandas」を「pd」という名前で使うことができます。 エラーにならず、インポートが完了しました。 csvファイルを読み取る pd.set_option('display.max_rows', 10) Pandasでは、csvファイルを読み込んだときに、表示する行や列数を指定することができます。 例えば、DataFrameのすべての行を表示させるJupyter Notebookが見づらくなります。 したがって、表示させる行数を10としましょう。 まず、「pd.set_option」を書いて、丸括弧、シングルクォーテーションを書きます。 そして、シングルクォーテーションの中に、「display」、ドット、「max_rows」を書きます。 最後に、表示させる行数を書きます。 今回は10行としましょう。 ちなみに、全ての行を表示するとしたら、行数をNoneに設定します。 実行します。 なお、表示させる行を指定する方法として、headメソッドやtailメソッドもありますが、その都度記述するのは手間な場合はset_opitionを使うといいでしょう。 df = pd.read_csv('data.csv', encoding = 'shift-jis') df 次に、pandasの関数を使ってcsvファイルを読み取る方法を説明します。 読み取る方法を説明する前に、このレッスンで使うcsvファイルの説明をします。 このレッスンでも、今までのレッスンで使った、政府が発表している「1920年から2015年までの全国の人口推移のデータ」を使います。 csvファイルには、和暦や西暦ごと、各都道府県ごとに人口推移のデータが記述されています。 それでは、csvファイルを読み取る方法を説明します。 read_csv関数を使って、csvファイルを読み込んでいきます。 まず、データフレームが入る変数dfを書いて、イコール、pd、read_csv関数を書きます。 丸括弧の中に、シングルクォーテーション、読み込むファイル名を書きます。 encodingの引数で、文字コードを指定することができます。 今回は、shift-jisを指定します。他にもutf-8なども指定できます。 それでは、実行してみましょう。 csvファイルを読み取ることができました。 ※続きは文字書き起こしブログで ▼文字書き起こしブログ https://kino-code.com/pandas_course_read_write/ ▼使用データについて 出典：政府統計の総合窓口(e-Stat) https://www.e-stat.go.jp/ 出典：気象庁ホームページ（https://www.data.jma.go.jp/obd/stats/etrn/） #PythonとPandas #PythonとExcel #PythonとCSV ▼お仕事のお問い合わせ キノコードでは、仕事の自動化の開発業務&コンサルティング業務のみを現在受け付けております。 お問い合わせ先かTwitterのDMか、「キノコードトップページ→概要」にあるメールアドレスまでお問い合わせください。