Argthtjtr

I have two columns with start and end range. I want make dummy columns for range between this columns. I can make it by apply method, but it is very slow. Can I make it without apply (because I have ~2-5M rows).

Entire DataFrame:

    start     end

0   36        36

1   31        31

2   29        29

3   10        10

4   35        35

5   42        44

6   24        26

What I want to see:

    start   end 8   9   10  24  25  26  29  31  35  36  42  43  44

0   36      36  NaN NaN NaN NaN NaN NaN NaN NaN NaN 1.0 NaN NaN NaN

1   31      31  NaN NaN NaN NaN NaN NaN NaN 1.0 NaN NaN NaN NaN NaN

2   29      29  NaN NaN NaN NaN NaN NaN 1.0 NaN NaN NaN NaN NaN NaN

3   10      10  NaN NaN 1.0 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN

4   35      35  NaN NaN NaN NaN NaN NaN NaN NaN 1.0 NaN NaN NaN NaN

5   42      44  NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 1.0 1.0 1.0

6   24      26  NaN NaN NaN 1.0 1.0 1.0 NaN NaN NaN NaN NaN NaN NaN

7   25      25  NaN NaN NaN NaN 1.0 NaN NaN NaN NaN NaN NaN NaN NaN

8   35      35  NaN NaN NaN NaN NaN NaN NaN NaN 1.0 NaN NaN NaN NaN

9   8       10  1.0 1.0 1.0 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN

Now I use this code:

import itertools



def zip_with_scalar(l, o):

    return dict(zip(l, itertools.repeat(o)))

df.merge(df.apply(lambda s: pd.Series(zip_with_scalar(range(s['start'], s['end']+1), 1)), axis = 1), left_index=True, right_index=True)

Use list comprehension with DataFrame constructor:

a = [dict.fromkeys(range(x, y), 1) for x, y in zip(df['start'], df['end']+1)]

df = df.join(pd.DataFrame(a, index=df.index))

print (df)

   start  end   10   24   25   26   29   31   35   36   42   43   44

0     36   36  NaN  NaN  NaN  NaN  NaN  NaN  NaN  1.0  NaN  NaN  NaN

1     31   31  NaN  NaN  NaN  NaN  NaN  1.0  NaN  NaN  NaN  NaN  NaN

2     29   29  NaN  NaN  NaN  NaN  1.0  NaN  NaN  NaN  NaN  NaN  NaN

3     10   10  1.0  NaN  NaN  NaN  NaN  NaN  NaN  NaN  NaN  NaN  NaN

4     35   35  NaN  NaN  NaN  NaN  NaN  NaN  1.0  NaN  NaN  NaN  NaN

5     42   44  NaN  NaN  NaN  NaN  NaN  NaN  NaN  NaN  1.0  1.0  1.0

6     24   26  NaN  1.0  1.0  1.0  NaN  NaN  NaN  NaN  NaN  NaN  NaN

Performance:

#[70000 rows x 2 columns]

df = pd.concat([df] * 10000, ignore_index=True)



def a(df):

    a = [dict.fromkeys(range(x, y), 1) for x, y in zip(df['start'], df['end']+1)]

    return df.join(pd.DataFrame(a, index=df.index))



import itertools



def zip_with_scalar(l, o):

    return dict(zip(l, itertools.repeat(o)))

def b(df):

    return df.merge(df.apply(lambda s: pd.Series(zip_with_scalar(range(s['start'], s['end']+1), 1)), axis = 1), left_index=True, right_index=True)





In [176]: %timeit a(df.copy())

202 ms ± 6.05 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)



In [177]: %timeit b(df.copy())

38.9 s ± 1.19 s per loop (mean ± std. dev. of 7 runs, 1 loop each)