一文速学-Pandas中DataFrame转换为时间格式数据与处理

目录

前言

一、Time Series / Date functionality

1.创建日期范围

 2.频率截至

 3.Series数据类型转换

二、时间戳与时间跨度 

1.时间格式引用

2.生成时间戳范围

参数 freq 

点关注,防走丢,如有纰漏之处,请留言指教,非常感谢



前言

由于在Pandas中经常要处理到时间序列数据,需要把一些object或者是字符、整型等某列进行转换为pandas可识别的datetime时间类型数据,方便时间的运算等操作。正好原来有篇文章特别是讲述

一文速学-Pandas处理时间序列数据操作详解。这篇文章忽略掉了如何转换为时间序列数据,正好补上,这样就实现的Pandas处理时间数据的全部内容和方法了。大家如果经常要使用到pandas dataframe处理时间数据不妨将两篇文章细读收藏,可以解决绝大多数处理时间序列的问题。有任何疑惑或者是问题可随时在评论区提出,博主会长期维护博文正确性,望大家指正,不吝赐教。


目录

前言

一、Time Series / Date functionality

1.创建日期范围

 2.频率截至

 3.Series数据类型转换

二、时间戳与时间跨度 

1.时间格式引用

2.生成时间戳范围

参数 freq 

点关注,防走丢,如有纰漏之处,请留言指教,非常感谢


一、Time Series / Date functionality

首先要了解转换机制我们才能更好的明白转换原理。在Pandas中时间数据类型依赖于两种类型:一种是Numpy的datetime64类型,另一种是timedelta64。前者代表为时间数据,可以有各类时间表达方法,后者为时间量表示数据,可以为时间差值。

在处理时间序列数据时,我们会经常寻求:

  • 生成固定平率日期和时间跨度的序列
  • 各类数据转换为时间类型数据,且格式指定为需求的格式
  • 将时间序列频率需求
  • 对于创建和转换时间序列,官方给出了相对应的函数列表

    类型 说明 创建函数
    Timestamp 表示为单个时间戳 to_datetime,Timestamp
    DatetimeIndex 表示时间维度数据 to_datetime、date_range、bdate_range、DatetimeIndex
    Period 表示单个时间跨度 Period
    PeriodIndex 指数Period period_range,PeriodInex

    1.创建日期范围

    rng = pd.date_range('6/14/2022', periods=3, freq='H')

    periods为指定的时间次数,freq为时间变化频时。

    DatetimeIndex(['2011-01-01 00:00:00', '2011-01-01 01:00:00',
                   '2011-01-01 02:00:00'],
                  dtype='datetime64[ns]', freq='H')
    rng = pd.date_range('1/1/2011', periods=5, freq='d')
    DatetimeIndex(['2011-01-01', '2011-01-02', '2011-01-03', '2011-01-04',
                   '2011-01-05'],
                  dtype='datetime64[ns]', freq='D')

     2.频率截至

    通过使用asfreq改变频率函数设定每次频率改变可以设定每个时间片都对应一个值:

    rng = pd.date_range('1/1/2011', periods=2, freq='d')
    ts = pd.Series(np.random.randn(len(rng)), index=rng)
    converted = ts.asfreq('360Min', method='pad')
    2011-01-01 00:00:00    2.397753
    2011-01-01 06:00:00    2.397753
    2011-01-01 12:00:00    2.397753
    2011-01-01 18:00:00    2.397753
    2011-01-02 00:00:00    1.489299
    Freq: 360T, dtype: float64

     将系列重新采样为每日频率resample:

    rng = pd.date_range('1/1/2011', periods=5, freq='H')
    ts = pd.Series(np.random.randn(len(rng)), index=rng)
    ts.resample('D').mean()
    2011-01-01   -0.245825
    Freq: D, dtype: float64

     3.Series数据类型转换

    我们知道单个的DataFrame的一列数据其实提出来就是一个Series:

    df=pd.DataFrame({'name':['Tom','Stark'],
                    'sex':['男','女']
                   })
    print(type(df['name']))
    <class 'pandas.core.series.Series'>

    而to_datetime函数使用对象就是Series函数,因此在Pandas 中需要大量用到to_datetime函数,该函数我将会专门写一文来具体说明此函数和参数的全部用法。现作简单使用即可:

    我们拿一个dataframe来展示:

    df_csv.dtypes
    collect_date          object
    cid                    int64
    sid_sum                int64
    lg_track_traffic       int64
    lg_track_len         float64
    avg_day_sid_num        int64
    avg_day_track_len      int64
    dtype: object
    

     我们想要把这一列object64类型数据转换为datetime数据类型,就可以使用to_dataframe函数了:

    df_csv['collect_date']=pd.to_datetime(df_csv['collect_date'],format="%Y-%m-%d")
    df_csv.dtypes
    collect_date         datetime64[ns]
    cid                           int64
    sid_sum                       int64
    lg_track_traffic              int64
    lg_track_len                float64
    avg_day_sid_num               int64
    avg_day_track_len             int64
    dtype: object
    

    若以日期开头可以通过传递dayfirst标识 :

    pd.to_datetime(['14-01-2012', '01-14-2012'], dayfirst=True)
    DatetimeIndex(['2012-01-14', '2012-01-14'], dtype='datetime64[ns]', freq=None)

    其他int64等类型都可以通过该方法进行转换,但是如果想要把这列数据转换为想要的format格式的类型,就得使用datetime库了,该库不能直接对Series使用。需要把列元素单独拿出来再转换:
     

    df_csv['collect_date']=df_csv['collect_date'].apply(lambda x: datetime.datetime.strftime(x,"%Y%m%d"))

     

    strftime可以将x传入的参数转换为想要的格式,此函数上篇文章已讲过,这里不在重复。
     

    二、时间戳与时间跨度 

    1.时间格式引用

    import pandas as pd
    import datetime
    pd.Timestamp(datetime.datetime(2022,6,14))

    时间戳数据是将值与时间点相关联的最基本类型的时间序列数据。对于 pandas 对象,这意味着使用时间点。 

    Timestamp('2022-06-14 00:00:00')
    
    pd.Timestamp('2022-06-14')
    Timestamp('2022-06-14 00:00:00')
    
    pd.Timestamp(2022,6,14)
    Timestamp('2022-06-14 00:00:00')

    但是,在许多情况下,将诸如更改变量之类的事物与时间跨度相关联更为自然。表示的跨度Period可以显式指定,也可以从日期时间字符串格式推断。

    pd.Period('2022-06-14 10:46')
    Period('2022-06-14 10:46', 'T')
    
    pd.Period('2022-06-14')
    Period('2022-06-14', 'D')
    
    pd.Period('2022-06-14',freq='M')
    Period('2022-06', 'M')

     Period和Timestamp都可以作为index索引。Timestamp和的列表 Period被自动强制转换为DatetimeIndex 和PeriodIndex

    在底层,pandas 使用 的实例表示时间戳,Timestamp使用 DatetimeIndex. 对于常规时间跨度,pandas 将Period对象用于标量值和PeriodIndex跨度序列。

    2.生成时间戳范围

    在生成带有时间戳的索引,可以使用DatetimeIndex和Index构造函数并传入日期时间对象列表:

    dates = [datetime(2022, 6, 10), datetime(2022, 6, 11), datetime(2022, 6, 12)]
    index = pd.DatetimeIndex(dates)
    DatetimeIndex(['2022-06-10', '2022-06-11', '2022-06-12'], dtype='datetime64[ns]', freq=None)
    
    index = pd.Index(dates)
    DatetimeIndex(['2022-06-10', '2022-06-11', '2022-06-12'], dtype='datetime64[ns]', freq=None)
    

    但是这确实挺麻烦的需要一个一个输入时间戳数据。如果有固定的频率需求的时间戳,可以使用date_range()和bdate_range()函数来创建一个DatetimeIndex。默认频率为date_range的日,而默认频率bdate_range为工作日:

    start=datetime(2022,6,10)
    end=datetime(2022,6,14)
    index=pd.date_range(start,end)
    DatetimeIndex(['2022-06-10', '2022-06-11', '2022-06-12', '2022-06-13',
                   '2022-06-14'],
                  dtype='datetime64[ns]', freq='D')
    index = pd.bdate_range(start, end)
    DatetimeIndex(['2022-06-10', '2022-06-13', '2022-06-14'], dtype='datetime64[ns]', freq='B')

    而6月11和6月12日正好为休息日故不显示。

    当然也可以通过指定相应的频率实现到最终的日期:

    pd.date_range(start, periods=5, freq='M')
    DatetimeIndex(['2022-06-30', '2022-07-31', '2022-08-31', '2022-09-30',
                   '2022-10-31'],
                  dtype='datetime64[ns]', freq='M')

    参数 freq 

    数据格式 string 或 DateOffset,默认值是 'D',表示以自然日为单位。这个参数用来指定计时频率,比如  '5H'  表示每隔 5 个小时计算一次。

    一些串别名被赋予有用的常见时间序列频率。我们将把这些别名称为偏移别名。

    B       工作日频率
    D       日历日频率
    W       每周频率
    W-SUN   星期天为起始(Sundays). 等同 ‘W’
    W-MON   星期一为起始(Mondays)
    W-TUE   星期二为起始(Tuesdays)
    W-WED   星期三为起始(Wednesdays)
    W-THU   星期四为起始(Thursdays)
    W-FRI   星期五为起始(Fridays)
    W-SAT   星期六为起始(Saturdays)
    WOM     每月的第几周的第几天

    BH      工作小时级频率
    H       小时级频率
    T,min   分钟级频率
    S       秒级频率
    L,ms    毫秒
    U,us    微秒
    N       纳秒

    M       月结束频率,如'2018-11-30', '2018-12-31'
    SM      半月结束频率(15日和月末)
    BM      工作月结束频率
    MS      月起始频率,如'2018-12-01'
    SMS     短信半月开始频率(第1和第15)
    BMS     工作月份开始频率

    Q       季末频率
    BQ      工作季度结束频率
    QS      季度开始频率
    BQS     工作季度开始频率

    A,Y     年结束频率,如'2000-12-31'
    A-DEC   年级别的频率,以 十二月(December) 为年底,等同 'A'。
    A-JAN   年级别的频率,以 一月(January )为年底。(其他二到十一月:FEB、MAR、APR、MAY、JUN、JUL、AUG、SEP、OCT、NOV)
    BA,BY   工作年度结束频率
    AS,YS   年开始频率
    BAS,BYS 工作年度开始频率

    更多:

    https://pandas.pydata.org/pandas-docs/stable/user_guide/timeseries.html#timeseries-offset-aliases
     

     这篇先讲到这里,接下来会有两篇重点解释to_datetime()函数和date_range、bdate_range函数。


    点关注,防走丢,如有纰漏之处,请留言指教,非常感谢

    以上就是本期全部内容。我是fanstuck ,有问题大家随时留言讨论 ,我们下期见

    来源:fanstuck

    物联沃分享整理
    物联沃-IOTWORD物联网 » 一文速学-Pandas中DataFrame转换为时间格式数据与处理

    发表评论