A aparência do seu pênis, e não só o tamanho e a grossura, é determinada, assim como todos os outros órgãos do nosso corpo, por dois fatores: o genético e o ambiental.

O fator genético

O fator genético é algo sobre o qual você não tem controle nenhum. É determinado no momento da sua concepção e é uma mistura de algumas características herdadas do pai e outras da mãe. Ele influencia em todas as suas características, desde sua aparência física até questões psicológicas.
Veja o que determina o tamanho e a aparência do seu pênis
Não necessariamente essas características que você herdou estão presentes no pai ou na mãe. Mas eles te deram essa herança genética como resultado da sua própria herança. Melhor dizendo, são características presente nos seus antepassados, na sua família. Nem todas as  características que herdamos vamos expressar, mas podemos passá-las a diante, e elas se podem se manifestar nos nossos filhos, netos, bisnetos ou em herdeiros mais distantes.
E a cada nova concepção há mistura de características de duas pessoas, um homem e uma mulher, e dessa mistura também podem surgir novas características.
É assim com tudo em nós, e é assim também com o nosso pênis.
A sua mãe obviamente não tem um pênis, mas ela pode sim influenciar nas características desse órgão passando pra você alguns genes que ela herdou do seu próprio pai e/ou da mãe.

Os parentes como métrica

Uma coisa que você tem que ter em mente é que o seu pênis  não é ou será uma cópia do pênis do seu pai, dos seus irmãos ou qualquer outro parente. Uma vez que vocês não são idênticos em outros aspectos da sua aparência, a não ser em casos de gêmeos idênticos.
Mas, se o você ainda for jovem, o pênis do pai e principalmente dos irmãos pode sim dar uma ideia geral de como poderá vir a ser o seu próprio pênis, devido a grande quantidade de genes que vocês compartilham.

O fator ambiental

O outro fator que influência na aparência do pênis é o ambiental. Fatores ambientais podem incluir a dieta, estilo de vida, doenças e até fatores psicológicos.
Até agora não encontrei nenhum estudo que explique como os fatores ambientais podem influenciar especificamente no desenvolvimento do pênis.
Apesar de você ter certo controle sobre os fatores ambientais, eles não mudarão sua constituição genética. Com exceção para os mutagênicos.
Ao longo da sua vida você é exposto a alguns substancias e situações, que podem alterar o seu material genético, o seu DNA. Esses fatores são chamados mutagênicos, como a radiação por exemplo, e você deve evita-los, pois são coisas sob as quais ninguém tem controle, e causadores de muitos tipos de câncer e outras doenças.

Genética mais Ambiente

Uma coisa que você deve ter em mente é que o fator ambiental é dependente do fator genético.
O material genético determina o limite até onde um ser vivo pode se desenvolver. Um exemplo, nunca nascerão assas em você pois as asas não fazem parte da suas possibilidades genéticas. Não está escrito no seu DNA como fazer crescer asas e por isso elas estão fora de cogitação.
Dessa mesma forma, se na sua biblioteca genética está escrito que seu pênis pode crescer até um tamanho X, vai ser esse o tamanho máximo que ele pode crescer. Ele pode até ficar menor, se as condições ambientais não forem boas, mas nunca mais do que o limite imposto pela sua constituição genética.
Ou seja, você pode deixar o ambiente o mais  favorável possível durante o seu desenvolvimento, a fase em que o pênis cresce, para permitir que ele chegue ao máximo do seu potencial. Mas ele não vai crescer mais que o próprio limite. E esse limite é  determinado pela sua genética.

Considerações

Minha recomendação pessoal, pra quem estiver na puberdade ou entrando nela, que é quando o seu pênis e o resto do corpo ainda não já chegou ao final da fase de desenvolvimento, é que você tenha a vida mais saudável que conseguir.
Se alimente direito, pratique esportes, não passe dos dias com a bunda sentada no sofá só jogando vídeo game e comendo besteira. Tente ter uma vida social saudável e todas essas coisas que você sabe que tem que fazer e que todo mundo fala pra você fazer.
Mas agora você tem um bom motivo pra fazer isso, você vai permitir que o seu pênis se desenvolva o máximo que ele puder!