En  c(k+1) = (2/(pi*(1-(-1)^k)))*int(f*cos(k*acos(x)), x, -1, 1);
estás dividiendo alternadamente por 0

y para eso puedo pasarlo a binario, restarle 1 e intercambiar los 0s y los 1s y luego a decimal. Pero yo vi en mi clase que muchos se ponian a hacer restas en hexadecimal y no entiendo por que, siento que no es necesario pero la mayoria lo hacian asi

Podés hacerlo por el camino que estés mas seguro.  Lo que pasa es que después de unos cuantos ejercicios ya vas a recordar los binarios y decimales desde 0x0 a 0xF pudiendo hacer algunas operaciones mentalmente.
El complemento a la base de \( FFF0_{hex} \) es \( 000F_{hex} + 1 = 0010_{hex} =16_{dec} \;\;\longrightarrow\;\; -16_{dec} \)

Es una negación, dependiendo de la tipografía y la creatividad del autor lo mas frecuente es escribirla:  \( \overline{A} \;,\; A^* \;,\; /A
\;,\;A^{'}  \)
Pero como  \( A^1 \) es la primer vez que lo veo.

Como las soluciones son números pequeños basta una comprobación ineficiente por fuerza bruta

\( [m,x,y,n] = [11,56 ,65  ,61  ;  13,57 ,112 ,97  ;   23,217,312 ,277 ;   37,305,1064,949 ; ...] \)

No te entiendo del todo.
En la parte

xtest = 1.03 ;
%--------------------------------------------------
P = LPoly(x,y) ;
ErrL4 = polyval(P,xtest) - f(xtest);

Ahí  LPoly(x,y)   calcula los coeficientes del polinomio
Luego, polyval(P,xtest)  evalúa el polinomio en el punto 'xtest'
y  f(xtest) es el valor real de la función en 'xtest'

Muchas gracias, abdulai Octave funciona en una PC con Windows 7 de 32bits? El mismo código que usa matlab también funciona para Octave? Muchas gracias.

Las versiones de 32bits dejaron de tener soporte, sería cuestión de buscar una vieja.
Octave intenta ser 100% compatible con Matlab, pero hay funciones que no están implementadas y algunas que son lo mismo con nombre diferente.  Lo bueno es que tiene muchas librerías y buena documentación.

Una alternativa rápida puede ser usar Matlab online en modo basic (https://matlab.mathworks.com/) , es gratuito pero con un máximo de horas mensuales.
Al código que subí lo copias tal cual en un script y se ejecuta sin problemas.

Con los datos que tenés no se puede calcular el error, necesitás algo de información respecto de la función o sus derivadas, cotas, algo...

Pensá que si la función original fuese un polinomio de grado 2 el error sería 0, mientras que si fuese un engendro fuertemente oscilante entre dos de los puntos el error sería enorme.

Como no te dicen nada... no hay error que calcular.

Amigos habrá otra forma de calcular el error que sea más sencilla? No logro llegar al resultado por favor.

Sencilla...  Los métodos numéricos son para hacer a máquina, te los hacen hacer a mano para que entiendas (con sangre) el proceso.

Para calcular los coeficientes \( a_k \) del polinomio ya tuviste que evaluar las integrales: \( b_k=\displaystyle\int_{-1}^{1}f(x)x^k\,\text{d}x \)

Ahora solo te queda una integral mas: \( \displaystyle\int_{-1}^{1}f(x)^2\,\text{d}x \)

El error es: \( \displaystyle\int_{-1}^{1}f(x)^2\,\text{d}x -a_0b_0 -a_1b_1 -a_2b_2 = 0.005757187697 \)

Eso es lo que me da a mí y tampoco coincide con el libro.   
Pero hay que tener cuidado, en regresiones polinómicas los coeficientes de las potencias suelen ser muy sensibles a los redondeos.  Como no se sabe como redondeó el autor a su resultado hay que tomarlo con precaución.

Yo lo hice con un CAS y evalué numéricamente el resultado final.  De todas maneras, con polinomios de orden elevado (digamos orden > 9 ) hasta es insuficiente la cantidad de decimales de la PC y hay que cambiar la estrategia, como por ejemplo, en lugar de usar el polinomio canónico hacerlo en términos de polinomios de Legendre.

\( \left(\sqrt x+\sqrt y\right)^2= x+y+2\underbrace{\displaystyle\sqrt{xy}}_3=5^2\;\;\longrightarrow\;\;x+y=25-2\cdot 3=19 \)

\( \left(\sqrt x+\sqrt y\right)^3= x\sqrt x+y\sqrt y +3\displaystyle\sqrt{xy}\left(\sqrt{x}+\sqrt{y}\right)=5^3\;\;\longrightarrow\;\;x\sqrt x+y\sqrt y=125-3\cdot 3\cdot 5=80 \)

Entonces
\( T=x(1+\sqrt x)+y(1+\sqrt y )  = \left(x+y\right)+\left(x\sqrt x+y\sqrt y\right) = 19+80=99   \)

Efectivamente, tenés que sacar el resto de la división.

En C

    #define NCOL 3   
    int fila=1+n/NCOL ;   // En C la división trunca la parte entera
    int col=1+n%NCOL  ;   // % Resto de la división