Hola

Sí, son potencias de dos.
Eso pertenece al campo de la electrónica digital:
El potencial eléctrico puede tener un valor alto (1) o un valor bajo (0). Los circuitos de electrónica se encargan de ir variando los valores según queramos. Por ejemplo, hay un circuito que hace la función AND (nuestra "y" lógica, que hace que 1 y 1 sean 1, 1 y 0 sean 0, 0 y 1 sean 0, 0 y 0 sean 0). Cómo hacer esos circuitos, pertenece a la electrónica analógica. Y cómo combinar esos circuitos ya hechos, pertenece a la electrónica digital.
Una secuencia de 1s y 0s (dando potenciales altos y bajos en la salida de los circuitos) puede considerarse información. Por ejemplo, a 0111 podemos otorgarle un significado. Considerando que es un número en base 2 (usando sólo los números 0 y 1), es el número 7 en base 10. Para conseguir el 7, han hecho falta 3 números binarios (llamados bits). Los números van así: 0000, 0001, 0010, 0011, 0100, 0101, 0110, 0111, 1000,... es decir, 0,1,2,3,4,5,6,7,8,...
Si te fijas, para codificar el 7, han hecho falta 3 bits. Con 3 bits podemos hacer 8 números: el 0, el 1,... hasta el 7. Con 3 bits podemos hacer 2^3 números, o combinaciones. Con 10 bits podemos hacer 2^10=1024 combinaciones. Cada combinación es una información distinta. 2^10 se le llama un K. En este caso, un kilobit. Un byte son 4 bits, es decir, 2^2 bits, y dan 2^4 combinaciones posibles de información. Así que 2^10 bytes=1024 bytes es un kilobyte (KB) que a su vez son 2^10*2^2 bits=2^12 bits= 4Kbits. 2^20 bytes= 1.048.576 bytes=1 Megabyte (MB), 2^30 bytes=1.073.741.824 bytes= 1Gigabyte (GB). La gente cree que 1 gigabyte son un millón de bytes, pero como ves no es así... ¡casi!
Por último, existen varias formas de almacenar información de esta forma, con lógicas tipo on/off (lógicas binarias, o de Boole). Por ejemplo, un condensador cargado (1) y uno sin cargar (0), un biestable (o circuito electrónico) D que almacene en cada instante un número u otro, etc... Eso ya es pura tecnología electrónica, y ya no tiene que ver con la electrónica digital, sino con la analógica, y el electromagnetismo.